Когда Трилиссер пришел в отдел, весь его состав размещался в одной большой общей комнате. Ему предстояло организовать разведывательную работу в странах Восточной и Западной Европы. В декабре 1921 года Трилиссер становится вторым лицом в Иностранном отделе – заместителем его начальника С. Г. Могилевского.
6 февраля 1922 года декретом ВЦИК РСФСР упраздняется ВЧК. На ее базе создается Государственное политическое управление (ГПУ) при НКВД РСФСР. А 13 марта Трилиссер назначается начальником Иностранного отдела ГПУ, сменив на этом посту Могилевского, возглавившего чекистов Закавказья.
С приходом Трилиссера к руководству внешней разведки начался, по сути дела, новый профессиональный период ее деятельности. Разведка стала работать в полную силу: сказывался опыт агентурной работы ее нового руководителя.
С 10 апреля по 19 мая 1922 года в Генуе состоялась международная конференция по экономическим и финансовым вопросам. В ходе конференции 16 апреля в пригороде Генуи – Рапалло представители советского правительства подписали с Германией договор об установлении дипломатических и экономических отношений.
Открытие дипломатического представительства Советской России в Берлине создало необходимые условия для организации в Германии нашей «легальной» резидентуры. Берлинская резидентура ГПУ стала важнейшей резидентурой в Европе. Через Берлин Иностранный отдел ГПУ – ОГПУ во главе с Трилиссером осущестлял руководство разведывательной работой не только в Германии, но и во Франции, Англии и на Балканах.
С целью качественного улучшения деятельности центрального аппарата разведки в новых условиях Трилиссер пригласил на работу в ИНО большую группу своих соратников по работе в военной организации партии, а также по работе на Дальнем Востоке в период Гражданской войны. Штаты внешней разведки были значительно расширены. В закордонной части ИНО стало шесть географических отделов. Работникам зарубежных резидентур ИНО была предоставлена большая свобода в вербовке агентуры. Формируя штаты ИНО, Трилиссер обращал особое внимание на профессиональную подготовку сотрудников, знание ими иностранных языков, умение работать с агентурой. Под его руководством были образованы резидентуры ИНО в Берлине, Лондоне, Париже, Вене, Риме. На Востоке – в Токио, Пекине, Харбине, Сеуле – были созданы нелегальные резидентуры. В короткое время была образована солидная агентурная сеть в кругах белоэмигрантов и в важных правительственных учреждениях ряда стран. Внешняя разведка госбезопасности приступила к добыванию научно-технической информации, необходимой для нужд обороны и народного хозяйства страны.
Будучи начальником ИНО, Трилиссер продолжал возглавлять и его закордонную часть. Он принимал непосредственное участие в оперативной деятельности отдела. Умелое руководство Трилиссером внешней разведкой принесло