紀元前21世紀頃に古代エジプトがナイル川に浮かべた軍船が、海軍のもっとも古い例のひとつと考えられている。

地中海世界では、紀元前15世紀頃からメソポタミアとエジプトで生まれた文明が東地中海地域に波及し、地中海沿岸の各地に生まれた諸都市・諸国家は海軍を編成して海上交通の覇を競い合った。海の覇権争いで最初に有力となったのはフェニキアの諸都市で、次いで紀元前300年頃まで古代ギリシアが有力となった。ヘレニズム期以降、約100年間、北アフリカのカルタゴが優位に立ち、紀元前2世紀にカルタゴを滅ぼした古代ローマの覇権は紀元300年頃まで続いた。ローマの覇権による地中海世界の平和はパックス・ロマーナと呼ばれる。帝国の行政上の中心である属州首都は多く海港ないしその付近に置かれた。

古代地中海世界の海戦では、艦首の衝角を敵艦に当てて破壊する戦法や、船を敵に寄せてはしごを使って戦士を敵艦に乗り込ませる戦法などが取られた。艦船も人力で漕ぐトリエーレ（90t、120人乗り）から、やはり人力ではあるが更に大きいガレー船（300t、200人乗り）へと大型化していった。アテナイなどの都市国家では、海軍が運用する三段櫂船の提供は富裕な市民の負担とされ、自力で歩兵の兵装を揃えることができない貧困層が船の漕ぎ手となった。海軍力によるペルシア戦争の勝利は、これら貧困層の政治的発言力を増すことにつながった。