В самом ОГПУ в то время складывалась весьма непростая ситуация.
25 июля 1931 года С.А. Мессинг был освобожден от должности начальника разведки. Вместо него в августе 1931 года начальником внешней разведки был назначен А.Х. Артузов (Фраучи), его заместителем – М.С. Горб, помощником – А.А. Слуцкий.
После возвращения в СССР Серебрянский продолжал привлекать в Особую группу наиболее талантливых сотрудников, уже проявивших себя на нелегальной работе в рамках спецслужб Коминтерна или ИНО ОГПУ. Тогда же, в 1931 году, Серебрянский привлек к сотрудничеству В.Г. Фишера, более известного многим читателям как Рудольф Иванович Абель.
В 1931 году Фишер (как родившийся в Англии) вместе с женой Е. Лебедевой получили английские паспорта, и разведчик был направлен в командировку в Норвегию, где и находился до 1935 года.
Дороги Фишера впоследствии пересекутся с дорогами Л.Л. Никольского. Лев Лазаревич также стал разведчиком Особой группы в 1931 году. Его настоящее имя – Фельдбин Лейба Лазаревич, но в историю разведки он вошел как Александр Михайлович Орлов (1895–1973). Впоследствии стал невозвращенцем, проживал в США и там он, его жена и больная дочь ушли из жизни.
Еще одним сотрудником Особой группы, по всей вероятности, являлся Арнольд Генрихович Дейч (1904–1942), служивший в ИНО под псевдонимом Стефан Григорьевич Ланг.
В ноябре 1942 года Дейч со своей оперативной группой следовал на танкере «Донбасс» в служебную командировку в Южную Америку. В Атлантике танкер был атакован фашистскими самолетами, после чего затонул. Таким образом, судьба танкера «Донбасс» оказалась и судьбой легендарного советского разведчика-нелегала Арнольда Дейча.
В 1932 году в рамках поставленной задачи Серебрянский нелегально выезжал в США. По итогам этой командировки он был награжден знаком Почетный работник ВЧК – ГПУ (№ 520).
Для деятельности Особой группы и для развития линии «Д» в РККА и Коминтерне 1933 год был достаточно успешным.
Но в целом военно-политическая ситуация в мире ухудшилась. В Азии это было связано с экспансией Японии в Китае, а в Европе с политическим изменением положения в Германии, где к власти пришли нацисты. Это подтолкнуло СССР к принятию военно-политического решения о создании на базе ряда нелегальных резидентур, действовавших в Австрии, Германии, Италии, Франции, Китае и других странах, особого нелегального аппарата в случае войны для организации террористических актов против лидеров антисоветских организаций.
В том же 1933 году Серебрянский становится заместителем директора Международной Ленинской школы (МЛШ). 21 июля 1933 года в кабинете Иосифа Пятницкого состоялось закрытое совещание Политсекретариата ИККИ, на котором были рассмотрены предложения Серебрянского об изменении системы