小泉は組閣にあたって、慣例となっていた派閥の推薦を一切受け付けず、閣僚・党人事を全て自分で決め、「官邸主導」「総理支配」と呼ばれる流れをつくった。山崎拓を幹事長に起用する一方で、最大派閥の平成研究会からは誰も党三役に起用しなかった。人気のある石原伸晃を行政改革担当大臣に、民間から経済学者の竹中平蔵を経済財政政策担当大臣に起用した。また、総裁選の功労者の田中眞紀子は外務大臣に任命された。5人の女性が閣僚に任命された（第1次小泉内閣）。

「構造改革なくして景気回復なし」をスローガンに、道路関係四公団・石油公団・住宅金融公庫など特殊法人の民営化など小さな政府を目指す改革（「官から民へ」）と、国と地方の三位一体の改革（「中央から地方へ」）を含む「聖域なき構造改革」を打ち出し、とりわけ持論である郵政三事業の民営化を「改革の本丸」に位置付けた。特殊法人の民営化には族議員を中心とした反発を受けた。

発足時の小泉内閣の支持率は、87.1%（読売新聞社調べ）と空前の高い率を記録した。「小泉内閣メールマガジン」を発行し、登録者が200万人に及んだことも話題となった。この小泉人気に乗るかたちで同年7月の参議院議員選挙で自民党は大勝した。

終戦の日の8月15日に靖国神社参拝をすることを、小泉は総裁選時に公約としていた。総理の靖国神社参拝は中国・韓国の反発に配慮して長年行われていなかった。小泉は、批判に一定の配慮を示し、公約の8月15日ではなく13日に靖国神社参拝を行った。以後も毎年、日や形式を変えつつも参拝を行った。中国・韓国はこれに強く反発し、首脳の相互訪問が途絶えるなど、中韓との関係は冷え切った。

9月11日、米同時多発テロの発生を受けて、ブッシュ大統領の「テロとの戦い」を支持した。米軍らのアフガニスタン侵攻を支援するテロ対策特別措置法を成立させ、海上自衛隊を米軍らの後方支援に出動させた。宮沢改造内閣の閣議での発言を翻すものであった。

国際情勢が緊迫するなか、外交機密費問題などで世論の批判を受けていた外務省は、田中外相が外務官僚や外交族の鈴木宗男と衝突し、スキャンダルの暴露が応酬されるなど機能不全に陥っていた。当初は、混乱を他人事のように語っていた小泉も、2002年2月には遂に田中真紀子を外相から更迭した。人気のあった田中の更迭により小泉内閣の支持率は急落した。なお、田中は8月に秘書給与疑惑が浮上して議員辞職した。

「政治とカネ」のスキャンダルの連発で支持率を落としたが、2002年9月に電撃的に北朝鮮を訪問して、金正日総書記と初の日朝首脳会談を実現し、日朝平壌宣言に調印した。この訪問で金正日は北朝鮮による日本人拉致を公式に認め、5人の拉致被害者を帰国させた。ところが、8人死亡・1人行方不明とする北朝鮮の回答が不十分なものであり、拉致被害者の家族の帰国が拒まれるなどで、関係者を中心に不満が噴出し、世論も北朝鮮に対して強く反発を見せた。国交正常化交渉は頓挫し、北朝鮮との外交問題は小泉政権を通しての懸案となったが、拉致被害者が帰国したことで一定の成果は上げたとして内閣支持率は再び上昇に転じた。

2002年9月30日、小泉改造内閣が発足。柳沢伯夫を金融大臣から更迭して、竹中平蔵に兼務させた。これにより、以後は不良債権処理の強硬策を主張する竹中が小泉政権の経済政策を主導した。

2003年3月、アメリカはイラクへ侵攻してフセイン政権を打倒した。小泉は開戦前からアメリカ支持を表明したことで、アメリカ追従外交として野党やマスコミの一部から批判を受けた。日米同盟こそが外交の基軸とのスタンスを崩さず、ブッシュ大統領との蜜月関係を守った。イラク戦後復興支援のための陸上自衛隊派遣が喫緊の課題となり、7月にイラク特措法を成立させた。これに先立つ6月には、長年の安全保障上の懸案だった有事関連三法案（有事法制）を成立させている。

9月に行われた自民党総裁選で平成研究会は藤井孝男元運輸大臣を擁立して小泉降ろしを図ったが、自民党参議院幹事長であった青木幹雄がこれに与せず、藤井は大敗。藤井擁立の中心となった野中広務は10月に政界を引退した。以後、清和政策研究会が党の主導権を掌握することになる。

2003年9月、自民党総裁選で再選されると小泉再改造内閣発足させ、党人事では当選わずか3回の安倍晋三を幹事長に起用する異例の人事を行い、11月の総選挙では絶対安定多数の確保に成功。閣僚を留任させた第2次小泉内閣が発足した。

2004年1月、陸上自衛隊をイラク南部のサマーワへ派遣したが、4月に武装集団がイラクにいた日本人を拉致して「イラクからの自衛隊の撤退」を要求する事件が起きた（イラク日本人人質事件）。小泉は「テロには屈しない」とこれを拒否。人質3人は後に解放された（但し小泉の強硬姿勢が功を奏したわけではなく、地元部族長の仲介によるもの）。さらに2人が拉致され後に解放される。

2004年5月、小泉は再び北朝鮮を訪問、平壌で金正日総書記と会談した。北朝鮮に対する25万トンの食糧や1000万ドル相当の医療品の支援を表明し、日朝国交正常化を前進させると発表した。これに伴い、5人の拉致被害者の子供の帰国を実現した。その後の北朝鮮の対応はおよそ日本の世論を納得させるものではなく、火に油を注ぐ格好になり、日朝国交正常化交渉は再び暗礁に乗り上げ、その後、北朝鮮は日本を無視。小泉はアメリカとの連係を強化して「対話と圧力」の姿勢を維持した。

2004年7月、第20回参議院議員通常選挙で自民党が改選議席数割れになり、安倍が幹事長を辞任、後任には武部勤が就任した。

破綻しかけている年金制度改革が国民の重大な関心事となっており、6月に年金改革法を成立させるが、抜本的な改革には程遠いものだった。小泉の最大の関心は長年の持論の郵政民営化にあった。参院選を終えたことで小泉は郵政民営化に本格的に乗り出し、2004年9月に第2次小泉改造内閣を発足させ、竹中を郵政民営化担当大臣に任命した。「基本方針」を策定して、郵政民営化を最優先事項とした。

2005年6月、国民保護法が成立し、国と地方自治体の武力攻撃に対する対処法が定められた。