大化の改新で臣・連・伴造が組織され、7世紀には全国的に軍団として編制した。大宝律令、養老律令によって中央に兵部省、首都に五衛府、地方に軍団・鎮守府・防人を配備した。鎌倉幕府では全国の御家人を戦時に運用する体制を整えて元寇を戦った。戦国時代においては集団戦法が主流となっていたために軽装の歩兵である足軽が登場する。当時の小銃の技術や築城技術の発達、また織田信長や豊臣秀吉が兵農分離や刀狩りを進め、徳川幕府の体制で士農工商の階級が確立された。江戸幕府では大名、寄合、旗本、御家人が組織化されているが大きな軍制の変化はない。しかしペリーの来航に伴う西洋の知識が流入するとフランス式の軍制が幕府軍に導入され始める。明治維新の後に軍制改革は特に活発化し、常備軍の徴兵制を推進する。廃藩置県で日本の軍事力を鎮台として編制するが、後にこれは洋式軍制に習って師団として再編される。1873年には徴兵令を発令して国民皆兵を導入し、日清・日露戦争で軍備を増強した。

戦後に日本の軍備は連合国によって解体されたために不在であったが、朝鮮戦争を機に警察予備隊が創設され、保安隊を経て専守防衛を旨とする自衛隊が発足した。