1942年、 神奈川県横須賀市に小泉純也・芳江夫妻の長男として出生。母方の祖父小泉又次郎は第2次若槻内閣で逓信大臣を務め、若い頃に全身に入れ墨を彫っていたことから、“いれずみ大臣”の異名で知られる大衆政治家だった<ref>又次郎が背中から二の腕、足首まで彫った入れ墨は、九門竜だったとも｢水滸伝｣の魯智深（ろちしん）、すなわち花和尚だったともいわれる（佐野眞一 著『小泉純一郎―血脈の王朝』140頁）</ref>。父・純也は戦後に一時公職追放となるが、政界復帰して防衛庁長官をつとめた。

神奈川県立横須賀高等学校、慶應義塾大学経済学部を卒業して、ロンドン大学に遊学（公式プロフィールでは留学とされているが、実際は聴講生で単位取得はなし）。1969年8月に父が急死したため帰国。

同年12月、亡父の跡を継ぎ、第32回衆議院議員総選挙に自由民主党公認で立候補し10万3000票余りを獲得するが、4000票差で落選した。

1970年より福田赳夫の書生を務め、福田から政治家としての薫陶を受けた。

1972年12月、第33回衆議院議員総選挙で自民党公認として立候補し、12万2000票余りを獲得し初当選。清和会（福田派）に属し、後に首相秘書官となる飯島勲が秘書となった。 また、同期の山崎拓・加藤紘一と懇意になり、YKKと呼ばれることとなる。