1878年（明治11年）7月、東京府は府下を区と郡に分かち、府税収入の多い地域を吟味選定のうえ、郡区町村編制法第2条の定めるところに従って旧幕時代の地称を付し、麹町区・神田区・浅草区以下の東京15区を設けた。同時に市街地に隣接する旧街道宿場および農村部に荏原郡・東多摩郡・南豊島郡・北豊島郡・南足立郡・南葛飾郡の6郡を置いた。

1888年（明治21年）東京市区改正条例公布。政府の機関として東京市区改正委員会（委員長・芳川顕正元東京府知事）が置かれる。

1889年（明治22年）5月1日、前月施行の「市制・町村制」に基づき、東京府は府下に東京市を設け、旧15区の区域をもって市域となして、区部の財産管理を移掌した。東京市の市制は、同3月公布法律12号「市制中東京市京都市大阪市二特例ヲ設クルノ件」（市制特例）によって、一般市とは一部異なる変則的な市制だった。東京府知事および府書記官が市長を兼務しており、市役所も市職員も置かれなかった。その一方で従来の15区はそれぞれ単独で区会（議会）を持ち、東京市の下位の自治体とされた。

1894年（明治27年）麹町区有楽町にドイツ・ルネサンス様式の鉄骨レンガ造2階建の東京市役所が完成する。同地は現在の千代田区丸の内三丁目にあたる。このときの建物は戦災で焼失し、戦後に新庁舎に建て替えられ、現在はさらに東京国際フォーラムに建て替えられている。

1898年（明治31年）10月1日、東京・大阪両市有志同盟の請願が結実し、「市制特例撤廃法」が成立、東京市に一般市制が施行され、東京府庁内に市役所が開かれた。府知事の市長兼務は廃止され、東京市長は官選となり、初代市長には松田秀雄が任命された。1926年（大正15年）からは市議の互選により市長が選出されるようになった（詳細は「東京都知事一覧」を参照）。