戦前の輸送水準を回復した国鉄は、1957年からスタートさせた「第1次5カ年計画」に基づき、全国で老朽施設の更新や輸送力増強、動力近代化を推進した。1958年には初の特急電車「こだま号」（151系電車）を登場させ、先頭部には民間からの公募で決めた「JNRマーク」と「特急マーク」を取り付けた。1961年には「第2次5カ年計画」がスタート。東海道本線の輸送力増強策として1959年に着工した東海道新幹線が1964年に開業し、国鉄の象徴となった。

一方、この時期から自動車や航空機との競合が激しさを増した。国鉄総裁の諮問機関である日本国有鉄道諮問委員会は1960年、「国鉄の経営改善方法に関する意見書」を提出して、ローカル新線の建設など国の政策による過大な負担、終戦直後の過剰な雇用による人件費負担の増大が国鉄経営に深刻な影響を与えると警告したが、政府は新設の日本鉄道建設公団で新線建設を強行し、何の対策も取らなかった。

その結果、国鉄は1964年度に単年度収支で8300億円の赤字となった。当初は繰り越し利益でカバーしたが、1966年度決算で完全な赤字に転落。それ以降一度も黒字を計上することはなかった。ただし単年度収支ではのち1984年度以降黒字に回復した。

また総評系の国鉄労働組合（国労）と国鉄動力車労働組合（動労）、同盟系の鉄道労働組合（鉄労）の各大規模労組が、国内の労働運動や政治に一定の影響力を与え続けた。