開催国は北半球が殆どで、南半球での開催は少ない。南半球では冬季大会が開催された事がなく、夏季大会も1956年にオーストラリアのメルボルンで開かれたメルボルンオリンピックと、2000年に同じオーストラリアのシドニーで開催されたシドニーオリンピックの2大会のみである。

その理由としては主に季節が北半球と逆である事と、北半球に比べ実際に開催可能な経済力を持つ先進国が少ない事（南北問題）が関係している。特に、冬季大会では各種目の大会シーズンとの兼ね合い（南半球が冬の時期に北半球ではシーズンオフである事）や、北半球に比べウィンタースポーツの設備が十分でない（そもそも降雪量が少ない）ため実質的に開催不可能であると推測される。

また、開催国の大半が欧州・北米諸国であり、アジアの夏季オリンピックについては東京・ソウル・北京の3回、中南米についてもメキシコのメキシコシティー（地理上は北米に属するがスペイン語圏であるためここでは中南米として扱う）で開催されたのみで首都以外の都市で開催された事がなく、アフリカに至っては南アフリカが候補に挙がった事があるが未だに開催されていない。これも、アジア・アフリカ・中南米に経済力を持つ国が少ない事が関係している（なお、2016年夏季オリンピックではブラジルのリオが候補に挙がっている）。