短期現役制度に応募し、1941年（昭和16年）8月に大日本帝国海軍の経理学校にて初任教育を受ける。海軍主計中尉に任官、海軍主計科士官となって連合艦隊に配属されると、第一艦隊第六戦隊の旗艦である巡洋艦青葉に乗艦し、高知県の土佐湾沖の太平洋上で猛訓練を受けた。

同年11月20日に転勤命令が下り、広島県呉市の司令部に緊急配属されると、第二設営隊の主計長に任命され、参謀長より、工員2000名に多少の陸戦隊をつけて、敵の飛行場を奪取し、すぐに零戦を飛べるようにしろとの命令を受ける。この時の目的地と物資の量は「蘭印(インドネシア)三ヵ月分、比島(フィリピン)三ヵ月分」だった。それから出航する29日までは、昼間は編成に明け暮れ、夜は積み込みの指揮で、ほとんど寝る暇もなかったという。

29日は予定通り、14隻の船団で出航。中曾根は「台東丸」に乗船。この船にはかなりの刑余者（前科のある者）がおり、大学を出て海軍で短期訓練を受けただけだった中曾根は一計を案じ、全員を甲板に集めた。この中から一番凄そうな親分肌の者を選んで班長にすると、後で自らの部屋である主計長室にその男を呼んだ。そして、やってきた古田と名乗る前科八犯の男と酒を飲み交わし、人心掌握に努めた。

1941年12月7日に太平洋戦争に突入すると、最初はフィリピンのミンダナオ島のダバオに敵前上陸することとなる。上陸戦闘は獰猛なモロ族と闘い、アメリカ軍のボーイングB-17爆撃機の猛爆撃を受けた。また明け方近くになると、決まってB-17がやってきたという。

次にボルネオ島のバリクパパンに向かうのだが、途中のマカッサル海峡で14隻のうち、4隻が撃沈される。そしてようやくバリクパパンの湾に入って上陸しようとしたら、オランダとイギリスの巡洋艦から、いきなり攻撃を受けてしまう。こちらには軽巡洋艦神通がついていたが、船団の中に取り込まれてしまって身動きが取れない状態だった。中曾根が乗船している前後左右の4隻は、あっという間に撃沈されてしまい、さらに接近してきた敵艦から副砲や機関銃で攻撃され、それが船尾に当たり火事が発生してしまう。

消火班長でもある中曾根は飛んでいって火消しを行うが、そこは阿鼻叫喚の地獄絵図になっており、手や足が吹っ飛んでいるもの、血だるまになり「助けてくれ」とうめくもの。そしてどこからか「古田班長がやられている」という声に誘われて言ってみると、あの前科八犯の古田が誰かに背負われ、足が砲弾にやられて皮一枚でようやくつながっており、その古田が中曾根に「隊長、すまねえ」とだけいうと、すぐに息を引き取った。この戦いで戦死した仲間達の遺体は、バリクパパンの波が打ち寄せる海岸で、荼毘(火葬)に付した。中曾根はそのときの思いを俳句にして詠んでいる。

友を焼く 鉄板を担ぐ 夏の浜

夏の海 敬礼の列の 足に来ぬ

当時の経験を振り返り、中曾根はこう語った。

「彼ら、戦死した戦友をはじめ、いっしょにいた二千人は、いわば日本社会の前線でいちばん苦労している庶民でした。美辞麗句でなく、彼らの愛国心は混じり気のないほんものと、身をもって感じました。『私の体の中には国家がある』と書いたことがありますが、こうした戦争中の実体験があったからなのです。この庶民の愛国心がその後私に政治家の道を歩ませたのです」<ref name = "naka">中曾根康弘『自省録-歴史法廷の被告として-』（新潮社 2004年6月） ISBN：4-10-468701-4</ref>

なお、終戦時の中曾根の階級は海軍主計少佐となっている。