Но еще раньше именно так поступил и Дзержинский. В недрах ОГПУ он создал параллельную ИНО структуру нелегальной разведки глубокого залегания для проникновения на стратегические объекты потенциального противника и ликвидации наиболее опасных руководителей антисоветских террористических организаций, перебежчиков, шпионов и предателей. У истоков этой структуры, подчинявшейся лично Председателю ОГПУ и получившей название «группы Яши» (впоследствии СГОН – специальная группа особого назначения), стояли Яков Блюмкин, Яков Серебрянский и Наум Эйтингон. Все они в недавнем прошлом были эсерами крайне левого и максималистского толка, то есть сторонниками революционного крестьянства, ведущего против эксплуататоров беспощадную герилью в духе нынешних последователей Че Гевары и Мао Цзэдуна.
Осенью 1923 года Дзержинский отдает распоряжение о создании в Палестине нелегальной резидентуры, поручив выполнение этой задачи Якову Блюмкину (оперативные псевдонимы «Макс», «Исаев»). Своим заместителем Блюмкин берет Серебрянского, которого знал по штабу Персидской Красной Армии, ведущей партизанскую войну против шахского правительства и поддерживавших его англичан в иранской провинции Гилян. После отзыва Блюмкина в Москву в 1924 году руководителем резидентуры становится Серебрянский. Ему удалось внедриться в подпольное сионистское движение, боровшееся против экспансии англичан, рвавшихся к иракской нефти и контролю над Суэцким каналом. Он привлек к сотрудничеству с ОГПУ целый ряд действовавших там эмигрантов, обещая им по согласованию с руководством переброску в Россию. Именно они составили впоследствии ядро боевой группы, известной как «группа Яши».
В 1926 году Серебрянского направляют нелегальным резидентом в Бельгию, а затем в Париж, где он находится до 1929 года. После возвращения в Москву он был назначен начальником 1‑го отделения (нелегальная разведка) ИНО ОГПУ СССР. Теперь у него личный кабинет на Лубянке, свой аппарат сотрудников Центра и сеть созданных им нелегальных резидентур за кордоном, включающих многочисленных глубоко законспирированных агентов. Уникальность ситуации заключалась в том, что Серебрянскому и его заместителю Эйтингону, которого на работу в центральный аппарат разведки также пригласил лично Дзержинский, было дано право вербовки агентов без согласования с Центром. Такого в истории разведки не было ни до, ни после. Имя Серебрянского было настолько засекреченным, что, как пишет Павел Анатольевич Судоплатов, вернувшись из своей первой загранкомандировки, он не знал, что беседует с руководителем «группы Яши». Многие материалы, связанные с этой группой, находятся на особом хранении и не будут рассекречены никогда.
26 января 1930 года в Париже «группой Яши» была проведена операция по захвату и вывозу на советскую