日本が初めて参加したのは、1912年に開催されたストックホルム夏季大会である。これはオリンピックの普及に腐心したクーベルタン男爵の強い勧めによるものであるが、嘉納治五郎を初めとする日本側関係者の努力も大きかった。最初は男子陸上のみによる参加であったが、1928年アムステルダム大会からは女子選手も参加した。

なお、このストックホルム夏季大会で嘉納治五郎は日本人初のIOC委員として参加し、また男子陸上の選手として参加したのは短距離の三島弥彦(みしま・やひこ)と、マラソン選手の金栗四三(かなぐり・しそう)で、この2名が日本人初のオリンピック選手として大会に参加した。

日本選手のメダル獲得、ベルリン大会から始まったラジオ中継、聖火ランナーなどにより、日本での関心が増し、1940年大会を東京に招致する事に成功したが、この大会は第二次世界大戦により中止された。戦後の1948年ロンドン大会には戦争責任からドイツと共に日本は参加を許されず、1952年ヘルシンキ夏季大会より復帰している。

日本国内での開催は、夏季オリンピックを東京、冬季オリンピックを札幌（これらはそれぞれアジア地区で最初の開催でもある）および長野で行っている。ちなみに、夏季大会（東京）と冬季大会（長野）の第18回大会はどちらも日本で開催されている。