В 1926 году в ОГПУ по инициативе его председателя В.Р. Менжинского была создана ОСОБАЯ ГРУППА АКТИВНОЙ РАЗВЕДКИ, основными задачами которой стало осуществление, в случае необходимости, разведывательно-диверсионных акций на территории вероятного противника, а также ликвидация предателей, перебежчиков, лидеров белогвардейских организаций за рубежом.
В подчинение Особой группы вошло около 200 разведчиков-нелегалов, работавших за рубежом и, в частности, намечавших конкретные объекты для возможных диверсий группы. Агентура Группы, не имевшая дипломатического прикрытия, действовала в Европе, на Ближнем Востоке, США.
В 1929 году особая группа вошла в состав Иностранного отдела ОГПУ.
В январе 1930 года агенты Группы в Париже ликвидировали генерала А.П. Кутепова, сменившего умершего генерала П.Н. Врангеля на посту председателя эмигрантского Российского общевоинского союза – РОВС.
В июле 1934 года ОГПУ постановлением ЦИК СССР вошло в состав созданного Народного комиссариата внутренних дел СССР, в которое вошли Главное управление государственной безопасности, Главное управление рабоче-крестьянской милиции, Главное управление пограничной и внутренней охраны, Главное управление исправительно-трудовых лагерей и трудовых поселений, отдел актов гражданского состояния, Административно-хозяйственное управление, Главное управление пожарной охраны. В конце 1934 года ОГПУ было выделено из состава НКВД с подчинением непосредственно председателю Совета народных комиссаров РСФСР. Были и другие реорганизации.
В июне 1934 года в составе только что образованного на базе ОГПУ НКВД СССР на основе Особой группы была создана СПЕЦИАЛЬНАЯ ГРУППА ОСОБОГО НАЗНАЧЕНИЯ, в которую в разное время входило от 20 до 60 человек, главной задачей которой стало руководство нелегальной агентурой за рубежом и расширение ее сети во всем мире.
При Специальной группе была создана специальная школа для подготовки разведчиков-диверсантов.
Агенты Группы активно работали во время гражданской войны в Испании, создав там 6 диверсионных школ. Ими же была осуществлена доставка в СССР испанского золотого запаса, переданного Советскому Союзу тогдашним испанским правительством за интернациональную помощь в борьбе за власть.
В ноябре 1936 года агенты Группы переправили в Москву часть «архива Троцкого» – архива Международного секретариата троцкистов.
В сентябре 1937 года агенты Группы похитили в Париже и доставили в Москву председателя РОВС генерала Е.К. Миллера.
В том же году в Париже был ликвидирован бывший резидент ОГПУ невозвращенец Георгий Агабеков.
В том же году в Швейцарии был убит бывший резидент Иностранного отдела ОГПУ в Западной Европе невозвращенец Игнатий Рейсс-Порецкий.
В августе 1940 года в Мексике агентом Группы Рамоном Меркадером был убит бывший лидер большевистского правительства Лев Троцкий.
В 1941 году, сразу после начала Великой