この間に光明皇后の信任を得た藤原南家の藤原仲麻呂（武智麻呂の子）が台頭、紫微中台を組織して755年（天平勝宝7年）には橘諸兄から実権を奪い、757年（天平宝字元年）には諸兄の子橘奈良麻呂も排除した（橘奈良麻呂の変）。仲麻呂は独裁的な権力を手中にし、傀儡（かいらい）として淳仁天皇を擁立し、みずからを唐風に恵美押勝と改名し、儒教を基本とする中国風の政治を推進したが、今度は孝謙上皇の寵愛を得た僧道鏡が頭角を現し、押勝はこれを除くために764年（天平宝字8年）に反乱を起こして敗死した（藤原仲麻呂の乱）。これにより、淳仁天皇は廃され、淡路に流された。