Співробітники 4 відділення, а їх було 8 осіб, серед яких був і Крівош-Неманіч, займалися «відкриттям іноземних і антирадянських шифрів і кодів та дешифровкою документів». Начальниками цього відділення були: з травня по грудень 1921 року – Ященко, з січня по серпень 1922 року – Горячов, з серпня 1922 по вересень 1923 року – Ельтман.
Перші успіхи радянських криптослужб незабарилися. Уже в 1921—22 роках удалося розкрити перші дипломатичні й військові турецькі шифри, до 1925 року проводилася активна й небезуспішна робота з шифрами 15 європейських держав, у 1927 році розпочалося читання японських повідомлень, а в 1930 році були розкриті деякі шифри США.
У травні 1921 року при Штабі РСЧА був також утворений свій спецвідділ -Центральний шифрувальний відділ (далі – ЦШВ) і було затверджене Положення про нього та його штат, а також штати шифрорганів штабів фронтів, округів, армій, дивізій, бригад, Центрального управління ВОСО і дислокаційне відділення (далі – ДВ) Управління зв'язку штабу РСЧА, Управління ВОСО і ДВ зв'язку штабів фронтів і армій. ЦШВ складався з 4-х відділень загальною чисельністю 27 осіб.
В той час столицею радянської України був Харків, тому в 1921 році в складі українських органів держбезпеки був створений Загальний відділ під керівництвом Ігнатова, одним із завдань якого було забезпечення таємного телеграфного зв'язку. Пізніше при ДПУ Української Радянської Соціалістичної Республіки (далі – УРСР) було організовано Шифрувальне бюро.
Співробітниками ЦШВ були розроблені перші радянські шифри «74-й Ключ Наркомвоена», «Гелиос», «75-й Ключ Наркомвоена», «Советский» та інші. У 1921 році ними було виготовлено й розіслано у війська та на флот 54 нові шифри і 2 радіокоди.
Коди та шифри того часу – «Око», «Кулемет», «Стрілок», «Пролетар», «Іскра», «Спартаківець» – згодом були витіснені більш серйозними – «УП Третій», «АРО Перший» та іншими. Це підвищило стійкість шифрованих повідомлень і збільшило безпеку застосування наявних каналів зв'язку.
З перших місяців свого існування Спецвідділ розпочав успішно проводити дешифрування іноземного листування. Колегія ВНК робила все для того, щоб організувати справу найкращим чином і забезпечити повну таємність. Був встановлений порядок, згідно з яким про всі розкриті шифри та здобуті відомості Спецвідділ доповідав ЦК партії, Раднаркому, голові ВНК і керівникам інших зацікавлених відомств.
Колегія ВНК надавала велике значення оперативному використанню таємного листування, що дешифрувалося. Всі термінові і особливо важливі дешифровані повідомлення доповідалися негайно. Вже у той час дешифровані матеріали активно використовувала радянська розвідка, НКЗС, деякі інші організації.
Перший позитивний