路線の名称は江戸時代の五街道としての旧東海道に沿って敷設されたところから取られている。しかし、江戸時代の東海道五十三次と比較すると、熱田 - 大垣 - 草津のルートは旧東海道から外れており、どちらかと言えば脇往還の美濃路と同じく五街道の一つである中山道に沿ったものとなっている。海岸沿いを走る区間は少なく、海の景色が見られる区間は平塚・国府津 - 熱海・由比・浜名湖・蒲郡のそれぞれ周囲に限られている。

海岸線から離れた所に敷設されているのは、軍部が外国艦隊による鉄道への艦砲射撃を恐れて山間部に敷設することを要請したから、という説がある。明治期に鹿児島本線（現・肥薩おれんじ鉄道線）の八代 - 鹿児島間を当初海岸沿いではなく山間ルート、現在の肥薩線のルートで敷設したのと同じである。また昭和期には浜名湖にかかる橋梁の爆撃を恐れ、二俣線（現・天竜浜名湖鉄道線）を東海道本線のバイパスルートとして開業させたり、橋脚が多い同線の小田原 - 熱海間が爆撃が受けた場合に備え、小田急小田原線（当時は東京急行電鉄の所有）と御殿場線が代替として活用できるよう、松田駅構内に連絡線を設けさせようとした（戦中には完成しなかったが、戦後に直通列車の運転実施のため開通した）事例もある。

一方で当時の土木技術や車両性能から、トンネルや勾配を抑えるために敷設条件が限られた、という説も有力である。東海道の海岸沿いは地形が険しい箇所も多く、また内陸のルートより遠回りになる場合もある。地形がきつい旧東海道の豊橋 - 岡崎間や鈴鹿峠からは大きく外れたルートを取り（ただし後に名鉄名古屋本線や関西本線がそれら地域の便を図る形で開業した）、京都 - 大阪では京街道の対岸を通した。

なお国府津 - 沼津間の箱根峠迂回路や関ヶ原周辺、それに大津 - 京都間の逢坂山越えでは開業後に編成が長大化した後、勾配緩和によって補助機関車の連結を解消することを目的とし、路線の付け替えが行われている。

明治政府は当初、幹線ルートを海路との競合を避けるために中山道沿いにすると決定したものの、山岳地帯への敷設が困難なことから東海道ルートに変更した経緯がある。東海道ルートに変更した際に、すでに開業していた区間は最大限に活用する形で早期に東西両京を結ぶことを目指したため、中山道ルートを前提として路線が当時までに開業していた熱田 - 草津間のルートは旧東海道から外れているのである。

なお品川や横浜の近辺は海岸線に近いところに敷設され、用地が取得できなかった品川駅は造成した埋立地の中に、横浜の手前の区間に至っては遠浅の海の中に盛り土をして作られたが、どちらも後の埋め立てで車窓から海が見えなくなっている。