Уже в первые месяцы своего пребывания на посту наркома внутренних дел Берия расставил на ключевые посты своих людей, прибывших вместе с ним из Грузии. Кроме того, им была проведена «чистка» ежовских кадров, занимавших руководящие посты в НКВД как в центре, так и на местах. Помимо Николая Ежова, расстрелянного 4 февраля 1940 года, такая же участь постигла Михаила Фриновского, Бориса и Матвея Берманов, Станислава Реденса, Леонида Заковского, Семена Жуковского, Александра Радзивиловского, Льва Бельского и других руководящих сотрудников наркомата.
В то же время новый нарком пошел на некоторые послабления. В течение 1939 года из лагерей было выпущено 223 800 осужденных, а еще 103 800 человек вернулись из колоний-поселений. Среди освобожденных были будущий Маршал Советского Союза Константин Рокоссовский, будущий Герой Советского Союза генерал армии Александр Горбатов и вице-адмирал Георгий Холостяков, академик и адмирал Аксель Берг, академик Лев Ландау, осужденный за распространение листовок антисталинского содержания.
Однако необоснованные репрессии не прекратились. Были произведены новые аресты и во внешней разведке. Для подготовки смены репрессированным разведчикам Берия объявил призыв в НКВД «лучших комсомольцев». Накануне войны именно эти «новобранцы» стали тем костяком, который в условиях полного погрома Сталиным и Ежовым органов внешней разведки воссоздавали ее. Именно молодые лейтенанты и капитаны, призванные по комсомольскому и партийному наборам во внешнюю разведку, обеспечивали в годы Великой Отечественной войны ее успешную деятельность.
Разгром внешней разведки незадолго до начала Второй мировой войны нанес серьезный урон государственной безопасности нашей страны. После отстранения Ежова от должности наркома внутренних дел в НКВД была направлена специальная проверочная комиссия из ЦК ВКП (б). Она была призвана выяснить, как разоблачаются «изменники и авантюристы», проникшие во внешнюю разведку и «обманывавшие партию и государство». Каждый сотрудник разведки подлежал тщательной проверке. Члены комиссии во главе с В. Деканозовым интересовались в первую очередь связями сотрудников с троцкистами и другими «врагами народа».
Новые руководители пришли в разведку по партийному набору. Среди них были партийные активисты, выпускники академии РККА имени М. В. Фрунзе, гражданских вузов. Был среди них и будущий начальник внешней разведки 32-летний старший майор госбезопасности Павел Фитин, который руководил ее работой все годы военного лихолетья.
В направленном руководству НКГБ отчете о работе внешней разведки с 1939 по 1941 год начальник разведки Павел Матвеевич Фитин писал:
«К началу 1939 года в результате разоблачения вражеского руководства в то время Иностранного отдела