国防活動の調整の提案は、1944年に下院に最初に提出された。陸軍、海軍および統合参謀本部による計画は1945年に提出され、1945年12月19日、トルーマン大統領による下院への特別教書で国防に関する統合部門の設立が提案された。提案は下院に1946年4月に上申されたが、権力の集中に対する反対により、海軍事務委員会での公聴会によって遅れた。トルーマンは結局1947年2月に下院に対して新たな提案を行い、それは数ヶ月にわたって討議、修正された。

1947年7月26日に、トルーマンは国防法案に署名した。同法案によって1947年9月18日に国家軍政省 (National Military Establishment)が発足し、初代国防長官にはジェームズ・フォレスタルが就任した。同省は略号の「NME」が enemy （敵）の発音に似ていたため、1949年8月10日に国防総省 (Department of Defense)に改名された。国防長官には陸海空三軍に対する強大な権力が与えられた。

国防総省はワシントンD.C.の外郭部、ポトマック川を越えたバージニア州アーリントン郡に所在するペンタゴンを本拠とする。1789年に設立されたアメリカ合衆国旧陸軍省と、1780年設立の海事部が1798年に変わったアメリカ合衆国海軍省、および新設されたアメリカ合衆国空軍省を傘下に設立された。よって現在、「省」の内部に「省」を有する、アメリカで唯一の組織である。