В сентябре 1924 года, когда стала ясна невозможность сохранения армии, Врангелем был основан Русский общевоинский союз (РОВС), который должен был объединять бывших военнослужащих, где бы они ни находились. Отделы РОВС были образованы в Европе, на Дальнем Востоке и в США. В Париже под руководством генерала Н. Н. Головина работали Высшие военно-научные курсы, где бывшие офицеры и генералы изучали опыт Первой мировой и Гражданской войн, знакомились с организацией и боевой подготовкой Красной армии. Кружки для военного самообразования офицеров были созданы в разных странах. РОВС объявил прием в полковые объединения молодых людей, достигших призывного возраста в эмиграции. Они должны были сдавать экзамены на чин унтер-офицера, а потом и на офицерский чин. Печатным органом РОВС стал журнал «Часовой» (Париж; Брюссель, 1929–1941, 1947–1988, ред. В. В. Орехов, Е. В. Рышков [Евг. Тарусский, 1929–1941]). РОВС признал Николая Николаевича своим «верховным вождем». Очень быстро выявились разногласия между Врангелем и великим князем, приблизившим к себе генерала Кутепова и поручившим ему «политическую работу».
Попытки вести борьбу с советской властью (так называемый «активизм») на российской территории оканчивались, как правило, неудачами. Деятельность тайной организации «Центр действия» (ноябрь 1920 – середина 1923, Н. В. Чайковский [председатель], Н. П. Вакар, М. В. Вишняк, И. П. Демидов и др., финансовую поддержку оказывал российский посол в США Б. А. Бахметев) свелась в конечном счете к сбору информации. Попытки Б. В. Савинкова завязать связи с антибольшевистскими силами в СССР кончились тем, что он попал в сети ГПУ, был выманен на советскую территорию и арестован в августе 1924 года. Убийства в 1923 году советского представителя на Лозаннской конференции В. В. Воровского и в 1927-м советского полпреда в Польше П. Л. Войкова было делом рук одиночек, не связанных с какой-либо организацией. В 1927 году Кутепову удалось заслать в СССР несколько групп боевиков, однако лишь одна из них сумела осуществить террористический акт – взрыв в партийном клубе в Ленинграде (В. Ларионов и др.), остальные были арестованы или уничтожены.
Эмигрантские организации были пронизаны советской агентурой, путем создания фиктивной антисоветской организации «Трест», вступившей в контакт с руководством РОВС и другими видными деятелями эмиграции, ГПУ удавалось своевременно получать необходимую информацию. Советские спецслужбы завербовали генерала Н. В. Скоблина, одного из руководителей Торгпрома С. Н. Третьякова, бывшего офицера, мужа М. И. Цветаевой