Куратором и наставником Судоплатова стал опытный разведчик Петр Яковлевич Зубов. В 1931–1933 годах – оперативник легальной резидентуры ИНО ОГПУ в Париже.
«В 1933–1934 годах я работал в спецотделе РУ РKKA под руководством М.Ф. Сахновской (1897–1937), – вспоминал И.Г. Старинов. Она член РКП(б). Окончила Военную академию РKKA. Репрессирована. Расстреляна. Это была опытная, энергичная, мужественная женщина, награжденная в числе первых орденом Красного Знамени. За сравнительно небольшой промежуток времени мне удалось подготовить две группы китайцев и ознакомить партийное руководство некоторых зарубежных стран – Пальмиро Тольятти, Вильгельма Пика, Александра Завадского и других – о применении минной техники».
В январе 1934 года начальник Штаба РККА А.И. Егоров издал директиву о создании штатных диверсионных подразделений в Красной армии. Существование спецназа было строго засекречено. Об этом формировании ничего не знали в четвертом Управлении РККА. Личный состав в спецназ отбирался из бойцов, прослуживших не менее двух лет и после тщательной спецпроверки. Обучение велось по самым высоким стандартам. К 1935 году такие подразделения были практически во всех дивизиях на границе с Прибалтикой, Польшей, Румынией и на Дальнем Востоке. На территории сопредельных государств сотрудники нелегальных резидентур создавали опорные базы для диверсантов. В создании таких баз в Европе участвовали и оперативники «Группы Яши».
29 ноября 1935 года Серебрянскому было присвоено специальное воинское звание старший майор госбезопасности, что соответствовало армейскому воинскому званию «комдив» (первоначально две золотые звездочки, а с 1937 года – два ромба в петлицах).
В 1934–1936 годах Серебрянский, побывавший в спецкомандировках во Франции, Китае, Японии, значительно укрепил нелегальную сеть резидентур. Резидентуры СГОН были на Балканах, в Германии, Палестине, Прибалтике, Румынии, Скандинавии, США, Франции и на оккупированной японцами территории Китая.
В составе шестнадцати разведывательно-диверсионных резидентур СГОН насчитывалось около 220 человек.
Осенью 1936 года состоялась первая встреча Я. Серебрянского и Павла Судоплатова.
В 1934–1936 годах в составе СГОН появились новые личности, в частности Э.Ф. Волльвебер, А.И. Сыркин (Бернари), В.Я. Сыркина, Г.Н. Косенко. Деятельность «Группы Яши» постепенно набирала обороты, а вот многие программы подготовки спецкадров с 1934 года стали постепенно сворачиваться либо консервироваться.
«Именно в столице, – вспоминает И.Г. Старинов, – я вдруг