アマチュアリズムを基本とし、古代の平和の祭典の復興を目指したオリンピックであるが、二度の世界大戦や、ミュンヘン大会におけるテロ事件、冷戦下でのアフガニスタン戦争に伴う東西のボイコット合戦など、時々の国際政治の影響は大きい。特にヒトラー政権下による1936年のベルリン大会は五輪そのものが利用された色彩が強く、聖火リレーのルートを後日ドイツ軍がそのまま逆進した事から政治が大きく陰を落としたものとなっている。

ギリシャによる開催は1896年と2004年が正規のものとされているが、第一回大会の十年後ただ一度だけ例外的に開催がされており（アテネ中間大会、1906年）開催事実も記録も公式に認めてメダル授与も行っている。しかし、4年に1度のサイクルから外れた開催であったため、正規の開催数に計上されておらず優勝者もメダリスト名簿に加えられていない。