20 июля 1926 года на пленуме ЦК ВКП(б), посвящённом состоянию экономики СССР, Дзержинский подверг резкой критике Пятакова, которого он назвал «самым крупным дезорганизатором промышленности», и Каменева, которого обвинил в том, что тот не работает, а занимается политиканством. Как пишет в своих воспоминаниях Анастас Иванович Микоян, «выступление Дзержинского было резким, острым… Речь его прерывалась частыми репликами со стороны оппозиции – Пятакова, Каменева, Троцкого. Дзержинский доказал, что все те доводы, которые приводила оппозиция, основаны не на фактических данных, а на желании во что бы то ни стало помешать той работе, которую ведут Пленум и Политбюро». Каменев в своем заключительном слове снова допустил грубые нападки на Дзержинского, который «почувствовал себя плохо и, не дождавшись конца заседания, вынужден был с нашей помощью перебраться в соседнюю комнату, где лежал некоторое время. Вызвали врачей. Часа через полтора ему стало получше, и он пошел домой. А через час после этого его не стало». Заседание было прервано, работа пленума приостановлена. В начавшейся суматохе кто-то быстро убрал стакан с водой, из которого во время выступления пил Дзержинский. Так что никаких следов не осталось.
Но основную схватку за власть и влияние Троцкий проиграл. В 1927 году его, Каменева и Зиновьева исключают из партии. В 1929 году Троцкого высылают из страны, а его связника Блюмкина расстреливают. Именно с этого момента Троцкий и его сторонники переходят к тактике террора путем организации заговоров и покушений – таких как убийство Кирова 1 декабря 1934 года и подготовка покушения на Сталина в 1935 году («Кремлёвское дело»). В этих и других случаях за спиной исполнителей терактов стояли Троцкий, Каменев и Зиновьев.
Однако на тот момент ни в ОГПУ, ни в руководстве Коминтерна, решения которого были обязательны для ВКП(б), ни в его разведке – Отделе международной связи Коминтерна – сторонников Сталина, да и русских вообще практически не было. В РККА также в значительной степени сохранялся авторитет Троцкого, который в 1918–1925 годах был председателем Реввоенсовета и наркомом по военным делам (сначала РСФСР, затем – СССР). Говоря нынешним языком, у Сталина не было достаточной поддержки со стороны силовиков.
В ноябре 1935 года сотрудникам НКВД были присвоены персональные звания. Это позволяет легко отследить национальный состав элиты госбезопасности на тот период. Высшее маршальское звание Генерального комиссара ГБ получил только Генрих (Енох) Григорьевич (Гершенович) Ягода – по национальности еврей.
Следующие сотрудники НКВД получили звание «Комиссар