革命活動を再開したヨシフは、より多くのストライキと社会運動（扇動）を組織した。今度は、の村に到着した。流刑となって7か月後、ヨシフは女装してサンクトペテルブルク行きの電車に乗って逃亡し、7月後半にバクーへと戻った<ref name="Young Stalin" />。

ボリシェヴィキは、帝国内の圧制や方々の知識人たちのあいだでの内部抗争によって、崩壊寸前の状態にあった。自暴自棄になったヨシフは、メンシェヴィキとの和解を主張したが、レーニンはこれに反対した。ヨシフは帝国内部からロシア社会民主労働党のロシア・ビューローの創設を要求した。ヨシフはすぐに、ボリシェヴィキ内に帝政支持の間者がかなり潜入していることを悟った。ヨシフは、党内で多くの無秩序を引き起こした“「本物の裏切り者」の根絶やしに失敗した「裏切り者」”-オフラーナの記録によって明らかになった- を捜し始めた<ref name="Young Stalin" />。

1910年4月5日、ヨシフは再びオフラーナに逮捕された。以前のソリヴィチェゴドスクへの流刑を完了させるためにコーカサスからの5年間の追放を宣告された。同年9月、ヨシフは同地に追放された。ヨシフは1911年の早期に同地から一時的に逃げ出しているが、金をどうしても必要としていた別の追放された人物が逃げ出したことで、ヨシフは同地に戻らざるを得なかった（1937年、ヨシフはこの人物を銃殺している）。ヨシフは、流刑中にマリア・クザーコヴァという女主人と不倫をしており、隠し子のコンスタンティン・クザコフを儲けている<ref>『赤いツァーリ スターリン、封印された生涯』上巻p.108-110</ref>。マリアがまだ妊娠中の1911年7月9日、ヨシフは流刑から開放された。同年の7月末期に、ヨシフは2か月間住むよう命ぜられたヴォログダに移住した<ref name="Young Stalin" />。

1912年1月のプラハ党協議（によって密かに裏切られた。レーニンとジノヴィエフは空白状態を埋めるため、中央委員にヨシフを選出した<ref name="StalinRobertService">Robert Service. Stalin: A Biography. 2004. ISBN 978-0-330-41913-0</ref>。ヨシフがこのことを知らされたのは、同年の2月末期にヴォログダを発ったときのことであった。

1912年4月、ヨシフは、ボリシェヴィキによる機関紙の発刊を管理する新聞社のズヴェズダがあるサンクトペテルブルクに移住した。ヨシフは機関紙の発行を月刊から日刊に変え、「ズヴェズダ」を「）の小さな村だった。到着後のわずか38日後にヨシフは逃亡した。これはヨシフが経験した流刑生活の中でもっとも短い期間である<ref name="Young Stalin" />。9月にはサンクトペテルブルクへ戻った。