1858年10月9日に、フランスから日本に外交使節団長として派遣されたジャン・バティスト・ルイ・グロ男爵によって、日本と最初の修好通商条約が当時の日本の幕府があった江戸で調印された。

その後、第一次世界大戦においては連合国として戦い、1919年のパリ講和会議では日本の提出した人種差別撤廃案に賛成するなど人権意識が高かった。その後の第二次世界大戦においては、フランスが早期に親独のヴィシー政府となり、フランスがアジアに持っていた植民地である仏領インドシナもヴィシー政権の影響下に置かれ、連合国軍の侵攻によるマダガスカルの戦いでは日本の救援を受けたことなどから、同じく植民地をアジアに抱えていたことで日本軍との戦闘を行ったイギリスやオランダとは異なり、戦後も日本との敵対感情は殆ど無いままであった。ただし、パリ解放後の大戦末期にインドシナで明号作戦により、日本軍とフランス軍は衝突した。なお、第二次世界大戦中の1940年、大日本帝国政府は皇紀2600年奉祝曲の作曲を、ヴィシー政権下のフランス政府を通してイベールに依頼し、イベールは「祝典序曲」を日本に捧げた。

現在も官民を問わず活発な往来が行われている他、経済的にも文化的にも深くかつ幅広い交流が行われているなど親密な友好関係にあり、首都のパリと日本の首都の東京都は姉妹友好都市関係にある。