しかし1941年6月22日、アドルフ・ヒトラーは協定を破棄してソ連に侵入した（バルバロッサ作戦）。スターリンはこの情報を事前に掴んでいたが、ソ連は戦争に耐えうる状況ではなく、誤情報であると頑なに信じようとしていた。そのため、ソ連はドイツの侵入に対する準備が全くできていなかった。幾人かの歴史家によれば、スターリンは攻撃開始後も事実を認めることに気が進まないように思われ、数日間は茫然自失の状態だったという。

ドイツ軍は開戦初期にソ連領内に大きく進出し、何百万ものソ連兵を殺害もしくは捕虜にした。スターリン自身が行った赤軍将校の大量粛清はソ連の防衛力を著しく衰弱させていた。その結果スターリンは彼の30年間の統治下で二度国内への演説を行った。最初は1941年7月2日、二度目は11月6日である。2度目の演説で彼は35万の兵士がドイツの攻撃によって戦死したが、ドイツ軍は450万人の兵士を失い（この数字に根拠はなく、不合理な過剰評価であった）ソ連の勝利は目前だと話した。東方に配備していたシベリア軍の対独戦線への投入、ヒトラーの度重なる目標変更、米英による援助物資の到着、そして氷点下50度に達した冬将軍の到来もあってモスクワ前面でドイツ軍の侵攻を停止させ、1942年12月のスターリングラード攻防戦においてドイツ第6軍を包囲し、降伏させた。

スターリンの戦略家としての欠点が、ソ連の敗北と多くの市民の死につながったとされる。彼はヴォルガ川の東へソ連の工業生産を移動させることによって赤軍の戦争遂行能力を保持したとされる。1942年7月27日のスターリンによる有名な死守命令「ソ連国防人民委員令第227号」は、彼が軍隊の規律を保持するために発揮した無情さを例証している。同指令によると、命令なしで自らの位置を離れたものは銃撃され、敵に降伏した兵士の家族はNKVDによって逮捕され、前線では兵士を後退させないため後ろに督戦隊の機関銃が設置された<ref>しかしこの時期に赤軍はスターリングラード前面で大規模な戦術的後退を実施しており、同指令と明らかに矛盾する。主眼は大祖国戦争の意義の強調であり、独諜報機関へのかく乱工作の側面もあったものとされている。</ref>。スターリングラード防衛戦ではこの命令により1万4千人余りの兵士が自軍によって銃殺されたとされている。真実であるとすれば、実に一個師団分の兵士が丸々味方によって殺されたことを意味する。また、当時市内には約60万人の市民が住んでいたがスターリンは「兵士の士気を上げる」という名目で市民の疎開を禁じたため、ドイツ軍の空襲により最初の一週間だけで4万人の市民が死亡したと言われる。スターリンは戦闘終結後の1943年に廃墟と化したスターリングラードを視察するが、その中で最初に復興させたのは内務人民委員部の建物であった。

戦争初期には、退却する赤軍がドイツ軍に利用されないためにと、インフラと食糧供給施設を破壊する焦土作戦を行った。後にドイツ軍も撤退時に同様の戦術を行い、かつ赤軍の兵力増強を避けるために住民をともに撤退させた。このために荒廃した土地のみが残る結果となった。

スターリンは、ドイツ軍と直面したほかのヨーロッパの軍隊が完全に能力を失ったことに気づいていた。大戦の末期、1945年になるとスターリンはヤルタ会談に出席、同年ポツダム会談にも出席し、アメリカ、イギリスと戦後の処理について話し合った。