1964年10月1日に、東京オリンピックの開催に合わせて東海道新幹線が開業した。併せて専用の0系が開発され、営業に投入された（→1964年10月1日国鉄ダイヤ改正も参照）。なお、開通に先立つ同年4月22日からアメリカのニューヨーク市で開催されたニューヨーク万国博覧会の日本館に実物大モックアップが展示され、日本の技術力を誇示した。

開業当初の営業最高速度は200km/h（東京 - 新大阪間「ひかり」4時間、「こだま」5時間）。路盤の安定を待って翌年に210km/h運転（同「ひかり」3時間10分、「こだま」4時間）を開始した（→1965年10月1日・11月1日国鉄ダイヤ改正も参照）。

日本の二大都市である東京 - 大阪間は、1958年から在来線の特急で日帰り可能になっていたものの滞在時間がわずか2時間余りしか取れなかった。しかし新幹線の開通により、日帰りでも滞在時間を充分取れるようになり、社会構造に著しい変化を及ぼした。ビジネスやレジャーの新しい需要を喚起し、東海道新幹線においては当初の12両編成が、1970年の大阪万博の開幕を機に16両編成まで拡大され、高速大量輸送機関としての確固たる地位を確立した。

その一方で、新幹線の建設や特急・急行列車の増発、さらには都市部における通勤輸送増強（通勤五方面作戦など）などの設備投資に追われたことから、新幹線の開業した1964年度から国鉄収支は赤字に転落し、以後それは拡大する一方となって、結果的に新幹線建設は国鉄破綻の1つの原因となったと言われる。これに対し、JR東海の葛西敬之会長は著書の中で「東海道新幹線はあくまで内部留保された資金と借金で建設資金をまかない、それらを運賃・料金収入のみですべて回収したものであり、新幹線建設が国鉄破綻の引き金を引いたという認識は誤りだ」と指摘している。いずれにせよ、以後の国鉄において、新幹線は重要な収入源ともなっていく。

その後、東海道新幹線に続いて、同じように需要の増加していた山陽本線の抜本的輸送力改善と高速化を目的として、1967年に東海道新幹線を延伸する形で山陽新幹線が着工され、1972年3月15日に岡山まで、1975年3月10日には博多まで開業した（→1972年3月15日国鉄ダイヤ改正・1975年3月10日国鉄ダイヤ改正も参照）。「ひかりは西へ」がそのキャッチコピーであった。

さらに東北方面への延伸も計画された。1971年には東北新幹線と上越新幹線が着工され、キャッチコピーには（実際の開業にあたっては、「やまびこ」「あおば」「とき」「あさひ」等、東北・上越在来線特急のかつての名称を継承する結果になったが）「ひかりは北へ」が使用された。1974年には建設中の成田空港へのアクセス路線として成田新幹線も工事に入った。折しも田中角栄内閣総理大臣によって、国土開発を促進する「日本列島改造論」が提唱され、整備は順調に進むかに見えた。

だが、実際には反対運動による用地買収の難航やトンネル工事での異常出水などがあり、前者2つの新幹線は予定より工事が5年も遅れ、成田新幹線に至っては工事中止となってしまった（ただし、後にJR東日本と京成電鉄の成田空港乗り入れの際にこの新幹線建設で作られた設備が生かされることになる）。また、新幹線沿線での騒音・振動による公害問題がこの頃深刻化した（名古屋新幹線訴訟など）。さらに国鉄財政の悪化に伴う運賃・料金値上げの繰り返し、労働紛争によるストライキの頻発化などから、既存新幹線の乗客が減少傾向に陥った。そして経営問題と労働紛争の影響から技術革新も見られなくなり、新幹線の発展・発達は一時停滞した。

1982年に大宮発着という暫定的な形で東北新幹線と上越新幹線は開業し（→1982年11月15日国鉄ダイヤ改正・新幹線リレー号も参照）、1985年には用地買収の関係で遅れていた都心（上野）乗り入れを果たした（→1985年3月14日国鉄ダイヤ改正も参照）。これにより東北・上越地方における鉄道シェアは大幅に拡大した。だが、国鉄財政はそれら新幹線の建設費負担も重なって遂に破局的状態となり、中曽根内閣の下で断行された1987年の国鉄分割民営化に至るのである。