田中派の支持も得た中曾根は党員による総裁予備選挙において圧倒的な得票を得て総裁の地位を獲得、1982年（昭和57年）に第72代内閣総理大臣に就任。行政改革の推進と「戦後政治の総決算」を掲げ1987年（昭和62年）まで一国の総理の座にあり小泉内閣に次ぐ歴代第4位の長期政権となる。

ただし、政権発足初期は、総裁派閥から出すのが常識だと思われていた内閣官房長官に田中派の後藤田正晴を起用し、党幹事長に同じく二階堂進を据え、その他田中派閣僚を7人も採用するなど、田中角栄の影響力の強さを批判され「田中曽根内閣」「直角内閣」などと揶揄された。一方で改憲こそ首相在任中は明言しなかったが、“戦後政治の総決算”を掲げ、教育基本法や“戦後歴史教育”の見直し、靖国神社公式参拝、防衛費1%枠撤廃等の保守色が強い姿勢により左派勢力から猛反発を買い、「右翼片肺」「軍国主義者」「総決算されるべきは戦後ではなく自民党」等といった激しい批判を浴びた。

1986年の三原山噴火では首相権限で巡視船や南極観測船を出動させて島民の救出に成功。野党や国土庁の官僚からは非難されたものの、当時のスタッフであった佐々淳行等は後年の阪神大震災での村山内閣の対応の遅れと比較してその決断力と実行力を高く評価している。

また広島市の原爆病院視察の際の「病は気から」発言や「黒人は知的水準が低い」「日本に差別されている少数民族はいない」、その発言について中曾根事務所が出した謝罪文に関しての質問に、女性蔑視と取られるような「まあ女の子が書いた文章だから。」等の失言で物議を醸す事も多かった（これら一連の事象については知的水準発言を参照）。

1983年の第37回衆議院議員総選挙、1986年の第38回衆議院議員総選挙では現職首相でありながらトップ当選できなかった（当時は中選挙区制）。これは歴代首相で中曾根だけ。トップ当選したのはいずれも福田赳夫元首相で、首相経験者同士が同じ選挙区（旧群馬3区）で対決したことになる。
中選挙区時代の旧群馬3区は、福田のほかに同じく首相を務めた小渕恵三や社会党書記長などを務めた山口鶴男といった大物がそろった日本でも有数の激戦区でもあった（上州戦争を参照のこと）。なお、日本において現職首相が選挙で落選したことは過去に一度もない（首相経験者が落選した例は片山哲や石橋湛山の例がある）。

任期後半には田中の影響を脱するとともに、バブル経済につながる好景気を演出し、支持率も概ね高水準を維持した。貿易摩擦問題も浮上したが、プラザ合意で円高路線が合意された後の内需拡大政策として民活（民間活力の意）と称し国有地の払い下げ等を行い、地価が高騰しそれに対する金融引締め政策を行わなかったためバブル経済を引き起こしたという批判も根強い。