細川藤孝の孫で熊本藩主となった細川忠利は、讃岐国に閑居していた義輝の遺児・義辰（尾池玄蕃）を探し出し熊本に迎えている。忠利は、熊本藩の客分・宮本武蔵とともに義辰を山鹿温泉の新築の御茶屋（別荘）に招くなどした。子孫は西山氏を名乗り、知行1000石、比着座同列定席の家格にて明治に至る。他の子としては、義輝暗殺の際に家臣に保護され丹波国の波多野氏の下で養育されたという足利義高（出家して天誉）がいたと伝わる。