Бывшие руководители Особых отделов впоследствии все, без исключения, стали крупными руководителями отечественных спецслужб. За заслуги в деле защиты социалистической республики 20 декабря 1922 года приказом РВС Особый отдел ГПУ был награжден орденом Красного Знамени. В годы «большого террора» были расстреляны чекисты, в разное время служившие в Особом отделе и занимавшие в нем ответственные должности: Г. Г. Ягода, М. П. Фриновский, Г. И. Бокий, В. Д. Медведь, Я. К. Берзин, Э. Б. Кацнельсон, Я. С. Агранов, М. Я. Лацис, М. С. Кедров; не выдержав обвинений в свой адрес, покончили жизнь самоубийством Н. А. Скрыпник и К. И. Ландер.
По данным современных историков в период с 1934 по 1941 год жертвами репрессий стали 14 тысяч сотрудников НКВД, в основном это были милиционеры и пожарники, в том числе группа сотрудников ГУГБ (Главное Управление государственной безопасности). С октября 1936 по январь 1938 года из ГУГБ было уволено 5229 оперативных сотрудников, из них арестовано 1220 человек, при этом 884 сотрудника были арестованы за контрреволюционную деятельность, 172 – за уголовные преступления, 164 – за развал работы, пьянство и дискредитацию органов НКВД.
В то же время Секретно-оперативным управлением ГПУ УССР и Особым отделом ОГПУ по Киевскому военному округу в 1930–1931 годах было заведено и реализовано дело оперативной разработки «Весна», касающееся бывших офицеров царской армии. По материалам данного дела было уволено из рядов Красной Армии несколько тысяч человек командиров, в отношении десятков из них были возбуждены уголовные дела с окраской контрреволюционная деятельность. Часть расстрелянных бывших генералов и офицеров, проходивших по данному делу, были реабилитированы в 1960-е годы.
Имеющиеся архивные материалы по делу оперативной разработки «Весна» были проанализированы авторитетным историком отечественных спецслужб профессором А. А. Здановичем в работе «Органы государственной безопасности и Красная армия. 1920–1934». По его мнению, это дело носило исключительно политическую окраску и вытекало из общей установки лидеров ВКП(б) к военспецам. В то же время у сотрудников Особых отделов было достаточно материалов, свидетельствующих об антисоветских настроениях и убежденности отдельных командиров Красной Армии в том, что в случае войны социалистическая республика потерпит поражение, и власти коммунистов придет конец. Сотрудники ВЧК–ОГПУ, исходя из опыта гражданской войны, были уверены, что в итоге «бывшие», так или иначе, перейдут к политически активной деятельности, направленной на нанесение ущерба Советской власти. Однако, как считает автор, антисоветские взгляды отдельных командиров не являются основанием для развязывания массового террора против