Где находятся эти «заклятые враги», Сталин, похоже, знал с самого начала. Он прямо указывал чекистам: «Ищите убийц Кирова среди зиновьевцев». Но нарком внутренних дел Ягода испытывал слишком большой пиетет по отношению к «ленинской гвардии» и действовал нерешительно. Сталин подключил к нему своего ставленника Николая Ежова. Этот грубый, ограниченный и совершенно ничтожный человек как нельзя более подходил на задуманную для него роль: сначала палача, а потом козла отпущения. Руководимый таким образом НКВД вскоре напал на след заговорщиков. После нескольких допросов Николаев признал, что «убил Кирова по заданию троцкистско-зиновьевской группы». Вслед затем его расстреляли. 16 декабря Зиновьев и Каменев были арестованы в Москве. В январе 1935 г. они уже признались, что тайный зиновьевский центр существовал на самом деле. На суде Зиновьев получил десять, а Каменев – пять лет тюрьмы. Всю зиму и весну 1935 г. шли массовые аресты их сторонников. В июне того же года было раскручено «кремлевское дело», по которому прошла волна новых арестов – 110 человек были осуждены на различные сроки. В 1936 г. на закрытом совещании верхушки НКВД было объявлено, что раскрыт гигантский заговор, во главе которого Троцкий, Каменев и Зиновьев. В Москву из ссылок и тюрем срочно доставили несколько сотен бывших зиновьевцев. Все они попали в застенках НКВД в жесткую «обработку». Каменев и Зиновьев вскоре дали нужные Сталину показания, признав, что стояли во главе контрреволюционного центра. В августе вместе с 14 другими обвиняемыми они были приговорены к расстрелу и казнены. Однако перед смертью зиновьевцы успели указать на своих «сообщников» – бывших лидеров «левых», в том числе Радека, Серебрякова, Пятакова и др. Так начался процесс над «Параллельным троцкистским центром».
В сентябре 1936 г. Сталин решил форсировать ход репрессий и выпустил на сцену главного исполнителя своих тайных планов. Ягода был снят с поста наркома внутренних дел и вскоре арестован. Поставленный на его место Ежов провел кровавую чистку органов НКВД, во время которой были арестованы и расстреляны все заместители и ближайшие помощники прежнего наркома. Одновременно произошло стремительное усиление карательных органов. К 1937 г. НКВД превратился в огромную армию со своими дивизиями и сотнями тысяч работников охраны. Под контроль всесильного наркомата попадают все партийные и государственные учреждения, а гигантская сеть осведомителей охватывает всю страну. Особый отдел НКВД надзирает за всеми органами партии вплоть до ЦК.
В январе 1937 г. состоялся суд над «параллельным троцкистским центром». Одним из главных обвиняемых на нем был Юрий Пятаков, заместитель наркома промышленности Орджоникидзе. Обвиняемые, как и ожидалось, оговорили себя по всем пунктам и дали показания на многих других партийных лидеров, в том числе на Бухарина и Рыкова. В начале 1937 г. те были сняты со всех постов и арестованы. В мае начались аресты командного состава