После Серова, недолго занимавшего пост Председателя КГБ (Серов был профессионал государственной безопасности и, несомненно, участвовал в многих карательных операциях прошлого), Председателем КГБ был назначен А. Н. Шелепин, лидер ВЛКСМ, и под его руководством реорганизация аппарата КГБ приобрела более отчетливый характер. Большая часть профессиональных чекистов была удалена со всех ответственных постов и их иногда генеральские должности переходили к сравнительно молодым руководителям московских и областных комсомольских организаций. Некоторым членам обкомов и райкомов ВЛКСМ поручили формировать областные управления КГБ. Районные отделы госбезопасности были просто ликвидированы, как и многие «спецотделы» на предприятиях и в учреждениях небольшого и среднего размера.
Даже задача борьбы с «идеологическими диверсиями» из-за рубежа (внутренних диссидентов еще не было) была возложена на специальный отдел ЦК КПСС, во главе которого стоял Д. П. Шевлягин. Только в 1957 году, после того как Ю. В. Андропов стал во главе КГБ, в нем был создан собственный отдел по борьбе с «идеологическими диверсиями», в который перешли многие сотрудники из идеологического и международного отделов ЦК КПСС.
Часть нового аппарата госбезопасности формировалась из политработников армии. Но главное состояло в том, что новый аппарат не имел автономии и не находился в прямом подчинении у Председателя Совета министров СССР. Начальник областного управления государственной безопасности подчинялся прежде всего секретарю обкома КПСС. Вместо районных отделов госбезопасности впоследствии создавались небольшие сектора госбезопасности непосредственно в структуре райкома КПСС, а при вновь появившейся необходимости иметь «осведомителей», их вербовал среди членов партии непосредственно райком КПСС. Аппарат госбезопасности потерял самостоятельность, а вместе с ней и полномочия проводить суды, выносить приговоры и приводить их в исполнение. Система КГБ могла только производить следствие и арест по санкции прокурора. Система лагерей и тюрем осталась в МВД, впоследствии переименованном в Министерство охраны общественного порядка (МООП). Это разделение функций следствия, вынесения приговора (только через суд) и реализации приговора (срок в лагере или другое наказание), сделало партийные органы арбитром и влиятельным советчиком в вопросе о целесообразности тех или иных репрессивных мер. Вскоре установилась практика, при которой член КПСС, а тем более руководящий работник партии, не