1906年4月、ヨシフはロシア社会民主労働党第4回大会に出席した。ヨシフはこの大会で、将来の国防人民委員および最初の元帥となるクリメント・ヴォロシーロフ、チェーカーを設立するフェリックス・ジェルジンスキー、そしてレーニンの死後に権力を共有するグリゴリー・ジノヴィエフと出会う。ボリシェヴィキの協議で、「銀行強盗禁止」が賛成多数で可決された。この決議は、金を集めるために銀行強盗が必要だったレーニンを動揺させた<ref name="Young Stalin" />。

1906年7月28日、ヨシフはエカテリーナ・スワニーゼと結婚する。1907年3月31日、エカテリーナはヨシフの最初の子供であるヤーコフ・ジュガシヴィリを出産した。

ヨシフとレーニンは、1907年にロンドンで開かれたロシア社会民主労働党第5回大会に出席する<ref></ref>。この大会では、レーニン派のボリシェヴィキの支配権の強化と、ロシアでの共産主義革命のための戦略について討議した。ヨシフはここで、レフ・トロツキーと初めて出会う。ヨシフはすぐにトロツキーを嫌うようになり、トロツキーを「美男子だが役に立たない」と評した<ref name="Young Stalin" />。大会後、ヨシフはメンシェヴィキによる支配と反目で満ちているグルジアを離れた。ヨシフは活動の中心地をロシアに変え始め、ロシア語を書き始めた。

トビリシに戻ったヨシフは、とてつもない銀行強盗の準備をした。銀行業務事業の仕事への接触を通じて、6月に、町の中心にある帝国銀行に大金が届くことをヨシフは耳にした。ボリシェヴィキ内で銀行強盗が禁止となったため、ヨシフは計画を一時的に断念していた。1907年6月26日、発砲と手製爆弾による轟音がエレバンスクエアで轟いたとき、ヨシフの仲間たちは武装した輸送隊を待ち伏せていた。およそ40人が死んだが、ヨシフと仲間たちは25万ルーブル（今日の価格でおよそ340万ドル）を持ってどうにか逃げのびた<ref name="Young Stalin" />。その2日後、ヨシフは家族とともにトビリシから立ち去った。この国立銀行からの金塊強奪を成功させたことが、レーニンの信頼を得る契機となっている<ref>『スターリン その謀略の内幕』P.37 スターリンは計画全般を指揮したが、実行には参加していない。</ref>。フィンランドからジュネーヴへ逃れたレーニンに、取り巻きが金を届けている。銀行強盗を禁止した（さらに略奪品の割り当てを得られなかった）メンシェヴィキは憤慨し、容疑者を調査した。事件は今後ヨシフに難儀をもたらすが、追放の危機は免れた。

ヨシフの家族はバクーへ移住した。ヨシフが革命活動を続けているあいだに、妻のエカテリーナが、公害、熱、ストレス、栄養失調から病気になった。彼女はついに（多くの歴史学者は結核と信じているが）チフスに罹患し、1907年12月5日に死亡した。ヨシフは深い悲しみに打ちひしがれ、数か月間喪に服した。彼女の死は、ヨシフを非情にさせた。彼は友人に「人間に対する私の最後の温かい感情は、彼女の死とともに消え失せた」と語った<ref name="Young Stalin" />。息子のヤーコフが出世すると、ヨシフは息子を見捨てた。