Робота Спецвідділу розпочалася з детального вивчення спадку, отриманого з архівів спеціальної служби дореволюційній Росії. Це були шифри, їх детальний опис, документи з дешифрування, матеріали шифроперехвату. Серед цих документів, зокрема були матеріали з дешифрування шифрів Туреччини, Персії, Японії, інших держав, а також копії і оригінали шифрів США, Німеччини, Японії, Китаю, Болгарії, навчальні посібники тощо.
Співробітники відділу ретельно вивчали ці матеріали, усвідомлюючи важливість своєї роботи. Велику роль в цей і подальший періоди зіграли знання і досвід Зибіна, Крівоша-Неманіча та інших «царських» криптологів. При їх активній участі при Спецвідділі були організовані 6-місячні курси, на яких вивчалися основи криптографії, вирішувалися завдання з дешифрування. На курси набирали людей здібних і грамотних. Перший випуск курсів складався з 14 осіб, п'ятеро з яких пришли на роботу в дешифувальне відділення відділу, останні – в інші відділення.
Необхідною умовою успішної роботи Спецвідділу була наявність матеріалів шифроперехвату. У способах їх отримання зберігалися традиції дореволюційних служб. Окрім зняття копій з шифровок іноземних держав, що проходили через Центральний телеграф або доставлялися дипломатичною поштою, чим займався відділ Політконтроля, було посилено перехоплення шифротелеграм, що передавалися по радіоканалах. З цією метою були задіяні військові радіостанції, надані в розпорядження Спецвідділу радіомовні станції, зокрема радіостанція Комінтерну. Однак недосконалість радіоприймальної апаратури, а також сильна зношеність не могли забезпечити високої достовірності текстів перехоплених шифротелеграм.
Таким чином до труднощів перших років роботи Спецвідділу, пов'язаних із невисокою загальною підготовленістю та нечисленністю особового складу, додавалися труднощі, пов'язані з недоліком і низькою якістю матеріалів для дешифрування. Перед керівництвом Спецвідділу постали завдання організації та налагодження роботи всіх ланок спеціальної служби в країні, включаючи здобуття шифроматеріалів і технічне оснащення радіостанцій. У зв'язку з цим Спецвідділом проводилася робота з розробки та виготовлення спеціальної техніки. У тісному контакті працював Спецвідділ з Закордонним відділом ВНК, контактуючи та маючи зв'язок з агентурою, орієнтованою на здобуття шифрів і кодів.
Зберігся звіт про роботу Спецвідділу за 1921 рік. У ньому, зокрема, було вказано, що з самого початку успішно проводилася розробка та виготовлення нових кодів і шифрів. Тільки за цей рік було введено в дію на різних лініях зв'язку 96 нових кодів. Ця робота співробітників Спецвідділу