内閣退陣後も当面宏池会の会長を務めたが、中曽根おろしを目論んだ二階堂擁立構想が頓挫し、影響力が低下。会長職を宮澤喜一に禅譲する。1990年（平成2年）、政界引退。2004年（平成16年）7月19日、肺炎のため93歳で死去。 死後、正二位 大勲位菊花大綬章。三女は麻生太郎に嫁いだ。息子は衆議院議員の鈴木俊一。