Главными отделами в ГПУ стали три составляющие с 1922 года. Это Секретно-политическое управление под началом Менжинского (с уходом его на пост председателя ГПУ эту должность занял Агранов), Экономическое управление во главе с Канцнельсоном (позднее его сменил Прокофьев) и управление войск ГПУ под началом Воронцова. Отдельное и изолированное положение в ГПУ занимал Иностранный отдел (ИНО ГПУ) для внешней разведки, которым руководил до конца 20-х годов Трилиссер, а затем Артузов. До перехода на должность главы внешней разведки в ГПУ Артур Артузов руководил другим важнейшим отделом контрразведки – КРО ГПУ. Спецотдел по контролю за чистотой рядов в партии большевиков и по работе с оперативной техникой тоже занимал особое положение внутри ГПУ, им все 20 – 30-е годы, вплоть до своего ареста в 1937 году, руководил Глеб Бокий. Отделом охраны важнейших руководителей страны поначалу руководил создавший отдел охраны Ленина еще в ВЧК чекист Беленький, но в ГПУ его позднее сменил Шанин, а в начале 30-х годов – Паукер, одновременно бывший начальником Оперативного отдела. Юридическим отделом ГПУ руководил Фельдман, одновременно возглавлявший курсы подготовки кадров при ГПУ. Наконец, важным Особым отделом по военной контрразведке в рядах Красной армии руководил сам Генрих Ягода, а после его перехода в первые заместители председателя ГПУ в 1924 году на его место назначен Ольский. Транспортным отделом командовал поставленный на этот пост еще Дзержинским в ВЧК Благонравов. Почти все эти руководители ГПУ 20-х годов и члены коллегии ГПУ занимали высокие посты и в ВЧК времен 1918–1922 годов, и почти все они перебиты после 1936 года в Большой террор.
Чуть позднее, в 1929 году, в ГПУ прошла небольшая реорганизация, когда Ягода в роли первого заместителя председателя ГПУ окончательно укрепился в ранге неформального главы этой спецслужбы при уже больном Менжинском, а вторым заместителем назначен переведенный из руководителей Ленинградского ГПУ Станислав Мессинг. Другой заместитель Менжинского и одновременно начальник разведки ИНО ГПУ Трилиссер в это время из-за конфликта с Ягодой и вообще из-за своих непримиримых троцкистских высказываний покинул все чекистские посты и ушел на другую работу, именно вместо него переведен из Ленинграда Мессинг. Тогда же в ГПУ впервые создано отдельное управление исправительно-трудовых лагерей во главе с Эйхмансом, из которого позднее разрастется по стране страшными метастазами ГУЛАГ.
А в 1931 году после большого скандала в верхушке ГПУ вокруг дела царских офицеров в РККА (дело «Весна») и изгнания из рядов ГПУ ряда руководителей из видных дзержинцев