Кроме того, быстрый и значительный рост количества резидентур привел к кадровому голоду. В начале 1930-х годов они действовали в большинстве стран Западной и Восточной Европы, на Ближнем Востоке, Китае и Северной Америке. В помощь к разведчикам, имевшим опыт подпольной революционной борьбы, пришло много молодежи, слабо владевшей приемами конспирации, самонадеянно полагавшей, что в «загнивавшем капиталистическом обществе» большинство является их союзниками, а не противниками, и потому допускавшей небрежность в работе с агентурой.
На эти провалы в разведке жестко отреагировали и партийные органы. В январе 1930 года на заседании Политбюро ЦК ВКП (б) ее деятельность была подвергнута жесткой критике. После этого вся переписка посольств и резидентур с Москвой стала зашифровываться разовыми «ключами». Секретные материалы хранились на местах не более месяца, а затем диппочтой отправлялись в архивы наркоматов или уничтожались.
Наиболее радикальные решения коснулись резидентур. В целях повышения эффективности их работы, а также минимизации политического ущерба в случае провала агентуры значительная часть из них была выведена из-под «крыш» советских представительств за рубежом и перешла на нелегальное положение. Наряду с этим были приняты и организационно-кадровые решения. Трилиссера на посту руководителя ИНО сменил Артузов, штатная численность отдела возросла до 122 человек, из которых половина работала за границей в составе резидентур. Значительно увеличилось и финансирование разведывательной деятельности: если в 1930 году ее официальный бюджет составлял 300 тысяч рублей, то через несколько лет он вырос более чем втрое и достиг 1 млн рублей, а к середине 1930-х годов составлял около 8 млн рублей.
Спустя четыре года советская спецслужба, и в частности разведка, подверглась очередной реорганизации. 10 июля 1934 года постановлением ЦИК СССР был образован Народный комиссариат внутренних дел (НКВД) СССР, в составе которого было создано Главное управление государственной безопасности (ГУГБ), и основные функции ОГПУ перешли к нему. Иностранный отдел стал 5-м отделом и в полном составе вошел в него. Перед руководством и сотрудниками отдела партийные вожди поставили следующие задачи:
1) выявление направленных против СССР заговоров и деятельности иностранных государств, их разведок и генеральных штабов, а также антисоветских политических организаций;
2) вскрытие диверсионной, террористической и шпионской деятельности на территории СССР иностранных разведывательных органов, белоэмигрантских центров и других организаций;
3) руководство деятельностью закордонных резидентур;
4) контроль за работой бюро виз, въездом из-за границы иностранцев, руководство работой по их регистрации и учету в СССР.
Штат отдела утвердили в количестве 210 человек, в его составе создали 13 подразделений, из которых 7 по географическому принципу