学習院を経て、東北帝国大学卒業。学習院時代の同期には初期の日華事変にて活躍した南郷茂章少佐などがいた。祖父西郷隆盛と同じく堂々とした体躯で知られた。

銀行員を経て貴族院議員（1936年～1947年）・自由民主党参議院議員（4期）・第2次佐藤内閣の法務大臣を歴任した。法相時代にGHQ占領下で起訴された死刑確定事件6件7名に対して恩赦を約束した。

手形乱発に絡む恐喝容疑で自由民主党を離党。議員会館にも債権回収のため取り立て屋が群がるなど一時問題となった。この事件の処理にあたったのが西郷の支援者でもあった横浜の金融業者で在日朝鮮人の男性であった。彼は法務大臣秘書である立場を利用し入港する船舶検査に手心を加えるよう各所に電話する日々であったということを月刊誌『正論』にて証言した。