1935年9月15日のニュルンベルク党大会でヒトラーはニュルンベルク法（「ドイツ人の血と尊厳の保護のための法律」と「国家公民法」）を公布した。この中でユダヤ人を公職から追放し、企業経営を禁止し、アーリア人との間の結婚や性交を禁止し、ユダヤ人の公民権も否定することが明記した。この法律公布後、民間レベルのユダヤ人迫害も増していった。

各地の商店に「ユダヤ人お断り」の看板が立ち、ベンチはアーリア人用とユダヤ人用に分けられた。ユダヤ人企業は経済省が制定した安価な値段でアーリア人に買収され、ユダヤ人医師はユダヤ人以外の診察を禁じられ、ユダヤ人弁護士はすべて活動禁止となった。

またニュルンベルク法では対象とされなかったが、ロマ（ジプシー）に対する迫害もはじまり、1935年にはフランクフルト市がジプシー用の収容所を設置。1936年にはドイツ内務省が「ジプシーの災禍と戦うためのガイドライン」を制定し、以降ジプシーの指紋と写真を撮ることと定めた。1937年には親衛隊（SS）も「ジプシーの脅威と戦うための全国センター」をもうけて同センターにジプシーの定義をするよう指示を出した。1935年にニュルンベルク法が制定されたことによって、ユダヤ人はドイツ国内における市民権を否定され公職から追放された。ほとんどのユダヤ人はこの時期に仕事を失い、失業中のドイツ人によって取って代わられた。1938年11月9日に、ナチスはユダヤ人商店の破壊を行った。それはあたかも通りが割れたガラスによって水晶で覆われているかのように見えたため「水晶の夜」（Kristallnacht、クリスタルナハト）と呼ばれた。1939年9月までに20万人を越えるユダヤ人がドイツを去った。またドイツ政府は彼らが残していった全ての財産を没収した。

1938年7月5日にはアメリカ大統領フランクリン・ルーズヴェルトの発案で、スイスのエヴィアンで32カ国によるドイツから逃れてくるユダヤ人難民保護の件が話し合われた（エヴィアン会議）が、各国はすべてユダヤ人の自国への受け入れには後ろ向きであった。これについてアドルフ・ヒトラーは「こうした犯罪者ども（ユダヤ人）に深い悲しみを寄せる諸国はせめてその同情を実際的な援助に向けてほしい。そうした諸国にこの犯罪者どもをくれてやる。お望みとあれば豪華客船で送ってやろう。」と述べ、ユダヤ人に同情する言を述べながら引き取ろうとしない欧米各国の偽善的態度を批判した。

1938年11月9日夜から10日未明にかけてはナチス党員と突撃隊がドイツ全土のユダヤ人住宅、商店、シナゴーグなどを襲撃、放火した水晶の夜事件が起き、これを機にユダヤ人に対する組織的な迫害政策がさらに本格化してゆく。