В 1931 году Леплевский был переведен в Москву, в центральный аппарат, где семь месяцев возглавлял особые отделы Главного управления госбезопасности НКВД. Именно под его непосредственным руководством и с его участием военные контрразведчики чинили расправы над известными со времен Гражданской войны военачальниками – Тухачевским, Якиром, Корком, Уборевичем и другими. Сослуживцы вспоминали, как Якира привели в кабинет начальника военной контрразведки Леплевского. Он вошел в военной форме, а из кабинета был выведен без ремня, петлиц, избитым и в разорванной гимнастерке. Под руководством Леплевского у командующего Киевским военным округом командарма 1 ранга Якира были выбиты показания, свидетельствующие о том, что Балицкий являлся участником антисоветского заговора.
Как участники антисоветских троцкистских организаций были арестованы 21 комкор, 37 комдивов, 29 комбригов, 7 дивизионных комиссаров и т. д. – около тысячи высших командиров и политработников.
С первых же дней назначения наркомом Леплевский стал требовать увеличения арестов военнослужащих, усилил расправу над партийными и советскими работниками, сотрудниками центрального, областных аппаратов НКВД Украины. Верных себе сотрудников он наставлял: «Следует действовать более решительно. Для вас не должны существовать никакие директивы, кроме моих».
На пленуме ЦК КП(б)У по докладу Леплевского отмечалось, что органы НКВД на протяжении нескольких лет проявляли бездеятельность. В результате многие руководители НКВД, старые чекисты, были выведены из состава партийных органов КП(б)У, из обкомов партии и в последующем арестованы.
О своем исключении из состава ЦК и готовящемся аресте узнал начальник управления НКВД по Харьковской области комиссар госбезопасности 3 ранга С. Мазо и покончил жизнь самоубийством. В его рабочем кабинете была обнаружена записка коллегам: «Товарищи, одумайтесь! Куда ведет такая линия арестов да выбивания у обвиняемых показаний?»
Не выдержал массовых репрессий на Украине и личных обвинений в участии в националистической организации председатель Совнаркома Украины Панас Петрович Любченко. Он покончил жизнь самоубийством, застрелив при этом и свою жену. (Черные страницы истории как бы повторяются, когда вспоминаешь, как в 1991 году после ГКЧП подобная участь постигла Бориса Карловича Пуго, бывшего председателя КГБ Латвийской ССР, министра внутренних дел СССР, и его супруги.)
В соответствии с указанием НКВД СССР от 30 января 1937 года категория лиц, подлежащих репрессиям на Украине, значительно увеличилась за счет членов антибольшевистских партий, прежних царских чиновников, жандармов, участников казацко-белогвардейских повстанческих организаций, сектантских