ところが、晴元の家臣である三好長慶が晴元を裏切って細川氏綱に味方し、畿内に一大勢力を築き上げた。このため、足利義晴・義輝父子は細川晴元とともに京都を再び追われて近江に逃亡した。そしてその最中の天文19年（1550年）、義晴は近江坂本にて死去している。

天文21年（1552年）、細川氏綱を管領にするという条件で三好長慶と和睦し、京に戻った。翌年から細川晴元と協力して長慶との戦いを始める。しかし敗れて近江坂本に逃れた。

永禄元年（1558年）、長慶と和睦して京に戻る。ところがその直後、再び長慶と戦う。一時期は近江の六角義賢（承禎）の支援を受けた義輝側が優勢であったが、三好長慶の弟・三好義賢の猛反攻を受け、さらに六角義賢からも支援を打ち切られたため、遂に京から追われた。なお、この年の12月28日には伯父である近衛稙家の娘を正室に迎えている。

しかし、長慶は何故か戦いに勝利した後、和睦を申し出る。これにより京に戻ることはできたが、長慶は幕府の御相伴衆に加えられ、さらに修理大夫に推挙され、幕政の実権を握った。義輝は単なる長慶の傀儡にすぎなかった。長慶はたびたび暗殺未遂事件に遭遇しているが、義輝の差し金であったとされる。