1933年に政権につくとともに、ヒトラーはプロイセン州内相に党の最有力幹部であるヘルマン・ゲーリングを任じた（のちプロイセン州首相）。ゲーリングは就任後ただちにプロイセン州警察に政治警察ゲシュタポを設置した。ゲシュタポには「予防保護拘禁」と称してその場の判断で令状なしで国民を自由に逮捕して強制収容所へ送れる権限が与えられた。プロイセンはドイツの国土の半分以上を占める巨大州であり、広範な国民がゲシュタポの猛威にさらされることとなった。

しかしまもなくヒトラーは長いナイフの夜事件での速やかな粛清実行やバイエルン州で徹底した反体制取り締まりをしたハインリヒ・ヒムラーと親衛隊（SS）を高く評価するようになり、中央集権化とあわせて各州の警察権力をヒムラーの下で一元化しようとした。ゲーリングのゲシュタポの指揮権もヒムラーに譲渡させた。ヒムラーは1936年に内相ヴィルヘルム・フリックより全ドイツ警察長官に任じられた。

ヒムラーはまずドイツ警察を一般警察業務を司る秩序警察と政治警察業務を司る保安警察に分離させ、秩序警察をクルト・ダリューゲ、保安警察をラインハルト・ハイドリヒにそれぞれ委ねた。さらにハイドリヒは保安警察と親衛隊諜報組織SDを統合して親衛隊内部に国家保安本部を立ち上げた。国家組織であるはずの警察がナチス党に吸収された瞬間であった。国家保安本部には長官ハイドリヒ以下、ハインリヒ・ミュラー（ゲシュタポ局長）、アルトゥール・ネーベ（クリポ局長）、オットー・オーレンドルフ（SD国内諜報局長）、ヴァルター・シェレンベルク（SD国外諜報局長）など悪名高い政治警察幹部の名がずらりと並ぶ。国家保安本部は日夜国民を監視していた。1941年にゲーリングはハイドリヒに「ユダヤ人問題の最終的解決」権限を移譲しており、国家保安本部はホロコーストの作戦本部ともなった。

ヒムラーとハイドリヒはドイツ国内・併合地・占領地を問わず各地に強制収容所を設置させた。政権掌握直後の1933年にははやくもバイエルン州でダッハウ強制収容所が設置され、さらに1936年にはベルリン北部にザクセンハウゼン強制収容所、1937年にはヴァイマール郊外にブーヘンヴァルト強制収容所が設置されている。その後も続々と収容所が建てられた。

第二次世界大戦の際に占領した地域にも強制収容所が立てられ、ポーランドに建てられた収容所のなかにはホロコーストのための絶滅収容所も置かれていた。特にアウシュヴィッツ＝ビルケナウ強制収容所、ベウジェツ強制収容所、ソビボル強制収容所、トレブリンカ強制収容所などが絶滅収容所として著名である。また戦時中のドイツ占領地域の治安維持組織としては「アインザッツグルッペン」（特別行動部隊）があった。国家保安本部長官ハイドリヒの提唱で創設され、ドイツ軍前線部隊の一つ後方にあってパルチザンの温床とされた「政治的敵」の銃殺していた部隊である。確かに一面ではパルチザン（ゲリラ）狩りの側面もあったが、国家保安本部への銃殺報告書に「ユダヤ人」などと人種を理由にした項目が設けられているため、一般にはただのゲリラ掃討部隊とは認められていない。ホロコーストの一翼を担う部隊であったとされている。

1943年にヒムラーは内相に就任し、名実ともにドイツ警察の支配者となった。ヒトラー暗殺未遂事件の際にもヒムラーが鎮圧者となった。破局の瞬間まで可能な限りドイツの治安維持にあたっていた。