1961年、ソ連共産党に入党する。1968年に党の活動に専従し、1976年にスヴェルドロフスク州党第一書記に就任する。なお、1977年には党の指示によりニコライ2世一家殺害現場のイパチェフ館を取り壊している。さらに、レオニード・ブレジネフ書記長に抜擢され、1981年にソ連共産党中央委員となる。

ミハイル・ゴルバチョフ書記長の就任後、1985年にソ連共産党政治局員候補兼中央委員会書記に就任。ブレジネフ派の大物であるヴィクトル・グリシンがモスクワ党第一書記を解任されると、1985年12月に後任のモスクワ党第一書記に就任した。

ゴルバチョフの下では改革派として行動したが、ゴルバチョフ政権におけるペレストロイカの遅れを強く非難したため、他の政治局員からのエリツィンに対する批判はゴルバチョフを驚かせるほど強いものとなる。1987年にブレジネフ派の大物エゴール・リガチョフを公然と非難したため、そのリガチョフと対立し、モスクワ市の党第一書記を解任された。さらに1988年2月には政治局員候補からも解任される。