А вже 5 травня 1921 року постановою Малого РНК №672 була утворена єдина радянська криптослужба у вигляді Спеціального відділу при ВНК. Приведемо текст цієї постанови:
«РНК, розглянувши питання про шифрувальні відділи, ухвалив наступне:
1) утворити при ВНК «спеціальний відділ»;
2) Спецвідділ ВНК поєднує всі шифрувальні органи, контролює й направляє всю діяльність таких органів;
3) всі розпорядження й циркуляри Спецвідділу ВНК із всіх питань шифрувальної та розшифрувальної справи є обов'язковими до виконання всіма відомствами Росії».
З того часу 5 травня вважається святом шифрувальників усіх міністерств i відомств. Начальником нової структури й одночасно членом колегії ВНК був призначений Гліб Іванович Бокій, який до цього керував Петроградською НК і завжди цікавився шифруванням, а свої записи про підпільні справи шифрував особистим математичним шифром.
З його ініціативи 25 серпня 1921 року у ВНК був виданий наказ, що пропонував усім підрозділам у центрі та на місцях «направляти в Спецвідділ всякого роду шифри, ключі до них і шифровки, виявлені при обшуках та арештах, а також добуті через агентуру або випадково».
Розміщався відділ не тільки на Малій Лубянці, але й у будинку №21 на вулиці «Кузнецкий мост», у приміщеннях НКЗС, де займав два верхні поверхи. Офіційними його завданнями були масштабна радіо- і радіотехнічна розвідка, дешифрування телеграм, розробка шифрів, радіоперехоплення, пеленгація й виявлення ворожих шпигунських передавачів на радянській території.
Специфіка роботи Спецвідділу докорінно відрізнялася від усього того, що робилося у ВНК, а тому вимагала залучення людей, що володіли унікальними навичками. Це насамперед відносилося до криптологів, завданням яких було розгадування шифрів і ребусів.
Взагалі, серед особового складу дешифрувального відділу було багато колишніх російських аристократів, зокрема графів і баронів. Ця суперечність із державним устроєм того часу пояснювалася серйозним браком лінгвістів, які були потрібні для ведення дешифрувальних робіт. А сама професія дешифрувальника була настільки рідкісною, що навіть тоді, коли представники цієї професії потрапляли у в'язницю, їх все одно залучали до роботи за фахом.
Ось що розповів письменник Лев Разгон, який був зятем Бокія, а в 1930-і роки – співробітником Спецвідділу: «Бокій підбирав людей дуже різних і дивних. Як він підбирав криптографів? Адже це здатність, що дана від Бога. Він спеціально шукав таких людей. Пам'ятаю старого співробітника Охоронки статського радника (у чині полковника), що ще в Петербурзі, сидячи на Шпалерній, розшифрував таємне листування Леніна. У відділі працював і винахідник-хімік Євгеній Гоппіус. У ті часи найважчим у шифрувальній справі вважалося знищення шифрувальних книг. Це були товсті фоліанти, і потрібно було зробити так, щоб у випадку провалу або інших непередбачених обставин подібні