南北朝時代に大内弘世が大内氏の本拠とする。室町時代には大内館が築かれ、日明貿易が行われる。応仁の乱以後には乱を逃れてきた文化人を歓迎したので、「西の京」として栄え、戦国時代には大内義興、大内義隆が市街を整備し栄華を極めた。義興に庇護され後に京へ戻った室町幕府10代・12代将軍の足利義尹（義稙）、雪舟、フランシスコ・ザビエルなど、この町に縁のある人たちは多い。

1552年12月9日（西暦では12月24日）に山口の宣教師コスメ・デ・トルレスらが、司祭館に日本人信徒を招いてクリスマスの祝を催した。このため、日本のクリスマスの発祥の地は山口である。

大内氏滅亡後、毛利氏の支配のもとで山口奉行が置かれたため、山口は防長二国における政治的中心地となった。関ヶ原の戦いののち、防長二国に減封された毛利輝元が萩に居城（萩城）を構えたため、山口の政治的中心性は一旦消滅することとなった。

江戸時代の間、萩と三田尻（現在の防府市中心部）を結ぶ萩往還の中継地として栄えた。 幕末になると、長州藩は藩庁を萩から山口へ移すことになり、山口はふたたび防長二国の政治的中心地となった。山口に移された藩庁は山口政事堂と呼ばれ、長州藩における討幕運動の拠点となった。

明治に入ると廃藩置県が実施され、長州（山口）藩庁は山口県庁にそのまま移行した。一時期県庁移転が提起されたこともあったが実現には至らず、山口は山口県成立から現在に至るまで県政の中心地であり続けている。

なお、長州藩の藩校である明倫館も藩庁移転に伴って萩から山口に移転、旧制山口高などを経て、現在の山口大学へとつながっている。山口大学は1973年に平川へ移転完了したが、旧亀山校地（山口明倫館跡地）にはパークロード（県道203号）を中心に県立図書館・県立博物館・県立美術館が整備され、周辺一帯は山口県における教育・文化の中心地たる景観をなしている。