観賢が東寺長者・金剛峯寺座主を兼ね、東寺を本寺とし、金剛峯寺を末寺とする本末制度を確立した。東寺長者が真言宗を統括することになった。金剛峯寺は、この本末争いに負けた。

落雷により伽藍・諸堂を焼失した。また、国司による押妨などにより、高野山は衰微し、無人の状態になるまでに至った。この状態が平安時代中期まで続くが、藤原道長が高野山に登山（山上の寺社に参詣すること）したことにより復興が進み、皇族・摂関家・公家が高野山への登山が続いた。

その後、皇族・摂関家・公家などによる経済的な支援もあり、財政においても安定した。