天正3年（1575年）のある日、家康は鷹狩りに出かけた。すると、家康はそこにいた少年のあまりの美しさに本気で惚れ込んでしまった。この少年こそが、後の直政（当時の名前は虎松）だったのである。その後、家康は直政がかつて桶狭間の戦いの後に自分と内通していた疑いで殺害された井伊直親の実子であることを知り、直政を自分の小姓（児小姓）として取り立て、衆道相手として深く寵愛したという。当時の武士階級では衆道は武士の嗜みともいわれるほど一般的であり、主君の寵童出身であることは出世への近道でもあった（その例として織田信長‐前田利家など、上杉景勝‐清野長範、伊達政宗‐片倉重綱・只野勝吉が挙げられる）が、直政は衆道をあまり好まなかった家康が唯一愛した男性とされる。