権力の絶頂期の頃のスターリンは、部下に対して常に粛清をちらつかせながら接するようになった。スターリンの質問に「No」の返事をすると粛清であり、曖昧な返事でも粛清であり、返事を即答できなければ粛清であった。スターリンは少年時代に鞭を手にした教師から、「目を逸らすことは何かを企んでいる証拠である」と叱られた経験があり、これを忠実に覚えており、スターリンとの会話の際、目を逸らした者は粛清の対象となった<ref name="nhkspecial">NHKスペシャル『赤い帝国の終焉』</ref>。このため、共産党員や軍将校がスターリンと会話するときは必死に彼の目を見たという。しかし、逆に部下と話すときは恐怖に怯えた顔で会話をしていたという。会議中に停電が起こり、電気がつくと、スターリンの姿が見えず、探してみると机の下で小便を流しながらブルブル震えていたという臆病さを表す逸話<ref name="nhkspecial" />もあるなど、臆病な一面もあった。

この性向は晩年に近づくほど酷くなり、「自分の周りにいる人間は全て敵である」という妄想に悩まされていた。あまりの恐怖に人前にでることはほとんどなくなり、部屋から出ることは稀になっていった（ちなみに被害妄想の典型的な症状である）。さらに、晩年には認知症も入り、スターリンの住居には厳重な警備が敷かれるようになった（軍隊が攻めてきても、2週間持つほどの重装備であった）。スターリンの部屋は複数に分かれており、どこに泊まるのか誰にも知らされず、スターリンしか持っていない鍵を、部屋に何重にも施していた。フルシチョフの回想によると、同志との会話で、スターリンの部屋へ行くとまた鍵が増えているのだろう、と話していた。無論、勝手に入ろうものならば容赦なく粛清された。ちなみに、スターリンが部屋に入ってからまずやることは、ランプを持って部屋を隅々まで検査することであった。