マドリードの地には先史時代から人間が住んでいた。古代ローマ時代にはコンプルトゥム（現在のアルカラ・デ・エナレス）の司教管区に属していた。マドリードが最初に歴史の記録に残されたのは、9世紀に後ウマイヤ朝のムハンマド1世が現在の王宮の位置に、小さな宮殿の建設を命じたときである。この宮殿のそばには小さな要塞が建てられた。近くのマンサナーレス川はアラビア語で「アル・マジュリート」（、「水の源」の意）と呼ばれ、そこからこの地は「マジェリト」と呼ばれるようになり、現在の「マドリード」となった。

1085年に要塞はトレドに向かう途上のアルフォンソ6世に征服され、モスクは教会に建て替えられた。1329年、フェルナンド4世に助言するための最初の議会（Cortes Generales）がこの都市で開かれた。セファルディム（ユダヤ教徒）やイスラム教徒もここに住み続けたが、15世紀の終わりに追放された。エンリケ3世の時代には、都市は大火のあとに再建され、王は城壁外のエル・パルドに住んだ。