天文5年（1536年）3月10日、第12代将軍・足利義晴の嫡男として東山南禅寺で生まれる。誕生直後に外祖父近衛尚通の猶子となる（『後法成寺関白記』天文5年3月11日・4月6日条）。

この頃の幕府では父・義晴と管領・細川晴元が対立し、義晴はそのたびに敗れて近江坂本に逃れ、それに義輝もたびたび従った。その後も父とともに京への復帰と近江坂本・朽木への脱出を繰り返した。