В Одесском ГПУ обнаружили смычку многих руководителей с сильным здесь блатным миром: за взятки блатарей выпускали из тюрьмы и даже выписывали им поддельные ордера ГПУ на обыск, с которыми налетчики грабили под видом чекистов местных нэпманов. Ряд чекистов под началом командира Одесского угрозыска Левитина в те годы вообще создали банду оборотней в кожанках, заманивая на конспиративные квартиры подпольных дельцов, арестовывая их там и затем за крупное вознаграждение выпуская на свободу. Когда все это было раскрыто, а в Одессу ввиду важности дела даже лично выезжал начальник Украинского ГПУ Балицкий – с должности был снят герой подполья Одессы в Гражданскую войну и заместитель начальника Одесского ГПУ Александр Эйнгорн, его отправили для перевоспитания с понижением в ГПУ Ташкента. С началом Большого террора бывшего красного подпольщика и чекиста Эйнгрона родные спецслужбы будут «перевоспитывать» еще и пятнадцатью годами лагерей.
В 1923 году бывший знаменитый пермский чекист Гавриил Мясников, имевший перед советской властью такие «заслуги», как убийства священников и тайная ликвидация великого князя Михаила Романова, только за вхождение в «Рабочую оппозицию» в партии будет сначала выслан из СССР. Затем по личному указанию Дзержинского обманом амнистии он вызван вновь в Москву, арестован и брошен в тюрьму (еще позднее все это для Мясникова закончится смертной казнью). Власть ясно давала понять боевому активу своей спецслужбы, что время лихой самодеятельности, закрытых глаз на шалости самих чекистов, время «красного бандитизма», каких-то пусть даже самых «рабочих» оппозиционных групп в партии ушло в историю вслед за Гражданской войной. А кто этого не понял – никакие заслуги и звание почетного чекиста не спасут от суровой кары. Позднее под каток репрессий уже в Большой террор конца 30-х годов попадет и будет расстрелян и видный партиец из деятелей «Рабочей оппозиции» Генрих Бруно, в Гражданскую войну занимавший высокие должности в ЧК на фронте.
Сам Дзержинский требовал ужесточить эту кампанию чистки рядов во вновь созданном ГПУ. Он с 1922 года выбил у ЦК партии право для своей спецслужбы судить собственными «тройками» преступивших закон сотрудников ГПУ, мотивируя это требованиями конспиративности работы спецслужбы. Верховную «тройку» в коллегии ГПУ составили Уншлихт, Петерс и Ягода. В 1922 году это еще ближайшие для Дзержинского люди из первой коллегии его ВЧК, но очень скоро на Лубянке из них останется только Ягода, а Петерса с Уншлихтом из ГПУ переведут на другую работу.
Разрешение на осуждение в особом «внесудебном» порядке экс-чекистов самим ГПУ было пролоббировано Дзержинским и получено от ВЦИК уже в марте 1922 года, на первом месяце существования самого ГПУ. В печально известном Соловецком концлагере (СЛОН) для осужденных чекистов создали