И, как по заказу, для смещения Ежова представился замечательный повод. В июне 1938 года сбежал к японцам начальник Дальневосточного управления внутренних дел Г.С. Люшков, не без оснований опасавшийся ареста. Ежов понял, что скоро настанет его черед. В письме-исповеди Сталину в конце ноября, уже после своего удаления из НКВД, Николай Иванович писал: «Решающим был момент бегства Люшкова. Я буквально сходил с ума. Вызвал Фриновского и предложил вместе поехать докладывать Вам. Один был не в силах. Тогда же Фриновскому я сказал: «Ну, теперь нас крепко накажут…» Я понимал, что у Вас должно создаться настороженное отношение к работе НКВД. Оно так и было. Я это чувствовал все время».
Случай с Люшковым послужил предлогом для назначения 22 августа Берии первым заместителем наркома внутренних дел. Прежние руководители НКВД сделали отчаянную попытку свалить Лаврентия Павловича. В покаянном письме Сталину Ежов признался: «Переживал… назначение т. Берия. Видел в этом элемент недоверия к себе, однако, думал все пройдет. Искренне считал и считаю его крупным работником, я полагал, что он может занять пост наркома. Думал, что его назначение – подготовка моего освобождения (правильно думал! – Б. С.)… Фриновский советовал: «Держать крепко вожжи в руках. Не хандрить, а взяться крепко за аппарат, чтобы он не двоил между т. Берия и мной. Не допускать людей т. Берия в аппарат». Фриновский в начале 30-х работал председателем ГПУ Азербайджана и часто конфликтовал с Берией как с одним из руководителей Закавказского ГПУ. Теперь Михаил Петрович предупреждал Ежова, какой опасный это враг. Решено было представить Сталину компрометирующий материал на Берию – данные о его службе в мусаватистской контрразведке. Однако Сталин уже был в курсе, как обстояло дело в действительности (вспомним письмо Павлуновского), да и судьбу Ежова он давно предопределил.
На долю Берии выпала задача умерить размах репрессий. 8 сентября 1939 года другой первый заместитель наркома внутренних дел М.П. Фриновский был назначен наркомом Военно-Морского Флота, а 29 сентября в ведение Берии перешло Главное управление Государственной Безопасности. К началу октября Ежов практически утратил контроль над основными структурами наркомата внутренних дел.
Члены ЦК и правительства в одночасье прозрели. В постановлении от 17 ноября 1938 года утверждалось: «Массовые операции по разгрому и выкорчевыванию вражеских элементов, проведенные НКВД в 1937–1938 годах, при упрощенном ведении следствия и суда не могли не привести к ряду крупнейших недостатков и извращений в работе органов НКВД и прокуратуры… Работники НКВД настолько отвыкли от кропотливой, систематической агентурно-осведомительной работы и так вошли во вкус упрощенного порядка производства дел, что до самого последнего времени