海軍の組織は、軍政を掌握する海軍大臣と軍令を掌握する軍令部総長の二人をトップとした組織であり、海軍大臣と軍令部長の補佐機関として海軍省と軍令部の二つの官衙が置かれていた。軍令部総長は陸軍の軍令を掌握する参謀総長とともに、天皇の統帥権を具現化する帷幄の機関の長であり、一方、海軍大臣は閣僚の一人として天皇を輔弼し、予算・条約・法令に基づき、軍令部長の活動を推進または抑止する。全日本軍の最高司令官は大元帥たる天皇ただ一人であり、部隊組織である軍隊は天皇の直属隷下にあったが、実際には全ての海軍組織は海軍大臣と軍令部長の管理下に置かれた。

• 海軍省…内閣に属し軍政を担当。
• 軍令部…天皇直属の帷幄の機関。作戦・戦略といった軍事行動に加え、時期によって諜報・暗号制定・戦史編纂などに従事した。
• 海軍省外局…主なものに海軍艦政本部・海軍航空本部・海軍教育本部・水路部など、多数の外局がある。
• 海軍の軍需工場としては、海軍工廠・空廠・火薬廠・燃料廠・衣糧廠・療品廠がある。管轄鎮守府および艦政本部や航空本部など担当部署に隷属。
• 海軍大臣直属の教育組織としては、海軍大学校の他、海軍兵学校・海軍機関学校・海軍経理学校（いわゆる「海軍三校」）などがある。
• 術科学校は管轄鎮守府および教育本部・海軍省教育局に隷属する。
• 鎮守府…海軍の地方組織。艦艇の保全・軍人軍属の育成・内戦作戦に従事する。鎮守府司令長官は天皇に直隷する。
• 警備府…後述する要港部を改編した海軍の地方組織。鎮守府と同格だが、固有の戦力を保有しない。
• 要港部…鎮守府隷下の地方組織。
• 艦隊の司令長官は天皇に直隷する。
  • 連合艦隊は2個艦隊以上の艦隊からなり、海軍作戦の主力となる。
  • 支那方面艦隊は連合艦隊に比肩する大艦隊で、連合艦隊に属さず、中国大陸での海軍作戦に従事する。
  • 海上護衛総司令部も連合艦隊に比肩する部隊で、連合艦隊に属さず、船団護衛に従事する。
  • 鎮守府部隊・警備府部隊も独立した部隊で、管轄海域の防衛に従事する。