За короткое время с участием Г. Бокого удалось организовать почти образцовую работу по криптографии и радиоразведке. В частности, начала функционировать радиопеленгаторная станция № 3, положившая начало советской военно-морской радиоразведке. С учетом особой значимости Спецотдела, будучи формально в структуре ОДПУ – НКВД, реально он находился в ведении ЦК ВКП(б). Ситуация кардинально изменилась с приходом в НКВД Н. И. Ежова. Реорганизация ведомства, а также изгнание «птенцов» Генриха Ягоды кардинально отразились не только на отделе, но и на судьбе его руководителя. Глебу Бокому была оказана «особая» честь: 16 мая 1937 г. его арестовали в кабинете наркома. В ноябре вынесли смертный приговор, вскоре расстреляли. Реабилитирован в 1956 г.
На Иностранный отдел (ИНО – А. Х. Артузов, с мая 1935 г. – А. А. Слуцкий) возлагались внешнеполитическая, экономическая, научно-техническая разведка и внешняя контрразведка. Отдел кадров возглавлял Я. М. Вейншток. Задача отдела заключалась в подборе и обучении кадров для ГУГБ.
Аналогичные функции и задачи возлагались на аппараты территориальных органов государственной безопасности. Общим в деятельности структурных подразделений ГУГБ было одно: агентурно-оперативная работа.
7 октября 1935 г. ЦИК и Совнарком СССР приняли постановление о введении для личного состава органов и войск НКВД специальных персональных званий. Для высшего начальствующего состава ГУГБ ими стали звания комиссаров и майоров государственной безопасности, средний и старший состав ограничился званиями наподобие армейских. Наркому внутренних дел СССР предусмотрели звание генерального комиссара госбезопасности. Для военнослужащих войск НКВД вводились такие же воинские звания, как в РККА.
В ноябре, в зависимости от занимаемой должности, начальствующий состав ГУГБ одел новые, определенного размера, количества и цвета звезды и звездочки, а также специальный нарукавный знак принадлежности к ГУГБ.
Знаки различия на петлицах (ромбы, квадраты и треугольники) в Красной Армии были установлены в июне 1924 г. В сентябре они были приняты в органах и войсках ОГПУ. В марте 1925 г. для старшего начальствующего состава были введены прямоугольники («шпалы»). Все знаки различия штамповались из красной листовой меди или томпака. Их наружная сторона серебрилась и покрывалась сквозной или глухой эмалью красного цвета. Петличные знаки различия образца 1924 г. в неизменном виде просуществовали до декабря 1935 г.
В зависимости от занимаемой должности цвет петлиц (краповый или зеленый) и соответствующее