Гейдрих, в отличие от Алемана, не был озабочен стратегической перспективой. Он решал тактические задачи, а именно, вывести отряды СС из подчинения руководителя штурмовых отрядов Эрнста Рема. Обладая агентурной информацией о взаимоотношениях в руководстве национал-социалистической партии, Гейдрих знал, что Эрнст Рем и Грегор Штрассер ненавидят «выскочку» Адольфа Гитлера. Значит, между ними начнётся война. Гейдрих ставил на Гитлера, потому посоветовал Генриху Гиммлеру, вывести СС из структуры СА.
Георг Алеман подсказал Гейдриху идею создания в структуре СС службы безопасности. Разведка национал-социалистической партии была создана в 1931 году. Она носила название: «Служба безопасности». На немецком языке: Sicherheitsdienst или сокращенно SD. Возглавил её Рейнхард Гейдрих. Он предложил Генриху Мюллеру и Георгу Алеману, перейти из полиции в СД, однако те отказались. Они пообещали оказывать Гейдриху всяческое содействие.
Рейнхард Гейдрих принялся собирать досье на друзей и врагов Адольфа Гитлера. Эрнст Рем и Грегор Штрассер недовольные тем, что Гитлер забрал себе слишком много власти, на собраниях штурмовых отрядов обличали своего соратника по партии.
«Гитлер сближается с буржуазией. Он предал идеи национал-социализма!» – кричал Грегор Штрассер.
Адольф Гитлер боялся Рема, у того было сорок тысяч штурмовиков, отряды СС возглавляемые Гиммлером, насчитывали от силы две тысячи человек. Рейнхард Гейдрих уговорил Гитлера ударить первым. Ночью 30 июня 1934 года, отряды СС арестовали Эрнста Рема, Грегора Штрассера и всех руководителей СА. Они тут же были расстреляны. В истории Германии это событие вошло как «Ночь длинных ножей». После неё отряды СА были расформированы, а штурмовики влились в СС.
Генрих Гиммлер планировал превратить СС в полноценную армию. Для начала была сформирована дивизия «Мёртвая голова», которая стала охранять концентрационные лагеря. Теперь их строили по всей Германии. Гейдрих и Гиммлер уговорили Адольфа Гитлера создать общегерманскую полицию. Она была организована 17 июня 1936 года, возглавил её Генрих Гиммлер.
В 1939 году Гейдрих предложил Гиммлеру создать Главное управление имперской безопасности. В него вошли: криминальная полиция (крипо), тайная государственная полиция (гестапо), в неё объединили политические отделы всех земель Германии,11 служба безопасности (СД).
Впоследствии Главное управление имперской безопасности разрастётся до