Петлицы в новой форме одежды были крапового цвета с малиновым кантом и одной продольной полосой посередине – цвета серебра от сержанта до капитана ГБ включительно и цвета золота от майора ГБ и выше. Имелся и специальный нарукавный знак: в первом случае – овал (щит) и клинок меча цвета серебра с эфесом меча, серпом и молотом цвета золота; во втором – овал цвета золота, с мечом, серпом и молом цвета серебра.
Из «низов» послышались нарекания, что размещенные на рукавах знаки различия не видны в строю. Начиная с апреля 1936 г. чины госбезопасности «персональные» звезды в предыдущем количестве стали носить на петлицах. Размещались они на продольной золотой (серебряной) полосе. Младшие лейтенанты и сержанты ГБ имели на петлицах соответственно по три и два усеченных треугольника на серебряных продольных полосах.
Постановлением ЦИК и СНК СССР от 10 июля 1937 г. личный состав органов ГУГБ был переведен на систему знаков различия РККА. Были приняты и аналогичные армейским знаки различия на петлицах: покрытые красной эмалью посеребренные «ромбы», «шпалы» и «квадраты». Просуществовали они до февраля 1943 г. Соответственно: генеральный комиссар ГБ – большая золоченная вышитая звезда; комиссар ГБ 1-го ранга – четыре ромба и над ними звезда цвета золота; комиссары ГБ 2–3-го рангов, старший майор, майор ГБ – четыре, три, два и один ромбы; капитан, старший лейтенант и лейтенант ГБ – три, две и одна «шпалы»; младший лейтенант и сержант ГБ – три и два квадрата («кубари»).
В 1935–1937 гг. отличительные особенности в знаках различия имели сотрудники госбезопасности, проходившие службу в особых отделах (контрразведке). В телеграмме (сентябрь 1935) на имя Сталина (находился на отдыхе в Сочи) Г. Ягода писал, что армейские особисты носят форму и знаки различия, отличные от командного и начальствующего состава РККА, что затрудняет их деятельность в частях, казармах и складах, поскольку ведет к их расконспирированию и невозможности осуществления агентурной работы. В объявленном в мае 1936 г. «Положении об особых органах ГУГБ НКВД СССР» отмечалось: сотрудники особых отделов корпусов, флотов, особых отделений дивизий, бригад, укрепрайонов, флотилий, а также отдельные оперативные работники, прикрепленные к частям и учреждениям РККА, носят форму одежды и знаки различия военно-политического