Когда после смерти Дзержинского в 1926 году обсуждалась кандидатура на пост председателя ОГПУ, Политбюро долго колебалось и одно время даже думало поручить руководство ОГПУ Орджоникидзе или Микояну. Их имена выдвигались ввиду малой известности Менжинского и его недостаточного авторитета в партийной среде. Однако, учитывая ропот среди сотрудников ОГПУ, которые, заслышав об этих кандидатурах, чуть не открыто говорили о национал-шовинистических тенденциях Орджоникидзе и о беспросветной глупости Микояна, Политбюро утвердило безликую кандидатуру Менжинского. С тех пор орган диктатуры пролетариата стал послушным орудием в руках Политбюро и его руководителя Сталина. Весь мир мог в этом убедиться на примерах расправы с троцкистами и правой оппозицией.
Между ОГПУ и Наркоминделом всегда шла жестокая борьба за влияние в Политбюро. Несмотря на то что внешними сношениями СССР заведует Наркоминдел, Центральный Комитет информируется по вопросам внешней политики также и ОГПУ. Почти всегда сведения и заключения этих двух учреждений по одним и тем же вопросам расходятся между собой. Так, например, по вопросу о восстании в Афганистане в 1929 году Наркоминдел стоял за поддержку Амануллы и его сторонников, а ОГПУ высказывалось в пользу Бачаи-Сакао, выдвинутого народными массами. В этих разногласиях корень антагонизма между руководителями обоих учреждений, и антагонизм передается по всей линии ОГПУ и Наркоминдела до самых низов. Наиболее ярым врагом ОГПУ является замнаркоминдела Литвинов. Он органически ненавидит ОГПУ, однако другой заместитель наркома, Карахан, имеющий личные счеты с Литвиновым, не гнушается иногда заигрывать с ОГПУ.
Борьба принимает особенно острые формы при назначении сотрудников за границу и продолжается за границей между полпредом или консулом и представителями ОГПУ.
Обыкновенно при назначении того или иного сотрудника за границу вопрос должен решаться в специальной комиссии ОГПУ, собирающейся раз в неделю. Комиссию возглавляет начальник иностранного отдела, а чаще кто-нибудь из его помощников. В состав ее входят представитель ЦК, он же заведующий бюро заграничных ячеек при ЦК, и представитель учреждения, которое командирует сотрудника. Заблаговременно заполненная и присланная в иностранный отдел ОГПУ анкета ходит по всем его отделам и отделениям,