戦後内務省に復帰し、 内務大臣官房事務官、香川県警務課長、警視庁警視・監察官を務める。その後退官し、衆議院議員選挙に当選。早くから鳩山一郎・三木武吉・芦田均らに従い、反吉田・憲法改正を主張した。1953年には改憲して首相公選制にすべきと発表。1956年には「憲法改正の歌」を発表するなど、改憲派として活発に行動し、マスコミからは青年将校と呼ばれた。同年11月27日の日ソ共同宣言を批准した衆議院本会議において、自由民主党を代表して同宣言賛成討論を行なったが、内容はソ連に対する厳しい批判だったりしたため、社会党や共産党が抗議、その結果、約50分間の演説全文が衆議院議事録から削除される異例の出来事もあった。

進歩党野党派の一員として、北村徳太郎らと行動を共にした。保守合同に際し、北村系が旧鳩山派である河野一派に合流すると、河野派に属した。岸信介改造内閣において、渡邊恒雄を介して大野伴睦の支持を受け、科学技術庁長官として初入閣。党内で頭角を現し、河野派分裂後は中曾根派を形成し一派を率いる。

初当選した選挙で白塗りの自転車に日の丸を立てて運動をしたことはよく知られているが、若い頃から総理大臣を目指すことを公言するなど大胆な発言やパフォーマンスを好み、同世代の日本人としては大柄な体躯や端正な風貌もあって、小派閥ながら早くから存在感を示していた。1965年には福井県の九頭竜ダム建設をめぐる落札偽計事件（九頭竜川ダム汚職事件）に名前が挙がる。