三位一体の改革は、2001年に成立した小泉純一郎内閣における聖域なき構造改革の「目玉」として、「地方に出来る事は地方に、民間に出来る事は民間に」という小さな政府論を具現化する政策として推進されているものである。

2002年（平成14年）6月の「骨太の方針2002」で方針が決まった。公式文書としては2004年11月26日の政府・与党合意「三位一体の改革について」が初出とされる。

2004年度はこの改革によって、国庫支出金が1兆300億円、地方交付税が2兆9000億円、それぞれ削減され、6600億円の税源移譲が行われた。税源移譲額よりも補助金削減額のほうが大きいため、地方自治体からは税源移譲が不十分だとの意見もあがった。加えて、地方交付税と財源対策債とを合わせて約2兆9000億円が削減された（削減率12％）。このため2004年度の予算が組めず、基金の取り崩しや管理職の給与カット等でしのいだ地方自治体もあった。

このような経緯で地方の改革への不信感が募ってきたため、「骨太の方針2004」で3兆円規模の税源移譲を明記した。これに合わせて補助金削減が検討された。