国民党軍に追われて1934年10月18日に根拠地を放棄し敗走、いわゆる「長征」を開始するが、この最中の1935年1月15日に、貴州省遵義で開かれた会議（遵義会議）で党の実権をほぼ掌握する。1936年秋には陝西省延安に根拠を定め、以後自給自足のゲリラ戦を指示。消耗を防ぎながら抵抗活動を続ける。同年12月12日に西安で起きた、張学良・楊虎城らによる蒋介石監禁事件（西安事件）でコミンテルンの仲介により宿敵である蒋介石と手を結び第二次国共合作を構築。1937年に始まった日本軍閥との間で起きた日華事変では抗日戦線を展開するが、主として交戦（ゲリラ戦）したには国民党軍で、共産軍は山奥の延安に隠れながら朱徳率いる八路軍が日本軍へのゲリラ戦を行う以外は傍観し力を温存した。なお毛がまとめた持久戦論では『日本軍は包囲は多いが殲滅が少ない』と批判した。

1938年には長征時代の妻・賀子珍と離婚し、不倫のうえで上海の元女優・江青と結婚した。1940年には『新民主主義論』を著し、のちの「人民中国」の先見の明を示した。

その後は、国共合作の相手である国民党軍とともに、アメリカやソビエト連邦などの連合国から得た軍事援助を元に日本軍と対峙する。