Вскоре были арестованы начальник Следственной части по особо важным делам МГБ генерал-майор Александр Леонов, три его заместителя – полковники Михаил Лихачев, Владимир Комаров и Лев Шварцман, начальник секретариата МГБ полковник Иван Чернов и его заместитель полковник Яков Броверман.
До конца 1951 года по «Делу об абакумовско-сионистском заговоре МГБ» (были арестованы и провели около двух лет в тюрьме) генерал-лейтенанты Н. Н. Селивановский, Н. А. Королев, М. И. Белкин, Л. Ф. Райхман, генерал-майоры Г. В. Утехин, Н. И. Эйтингон; полковники Ф. Г. Шубняков, А. М. Палкин, М. К. Кочегаров; подполковники Н. М. Бородин, А. Я. Свердлов и руководящий сотрудник отдела «Д» полковник В. М. Блиндерман и другие.
Руководство МГБ сменилось. 9 августа 1951 года Указом Президиума ВС СССР министром государственной безопасности СССР был назначен С. Д. Игнатьев. Через две недели было сформировано новое руководство МГБ. Первым заместителем остался Огольцов, но была введена должность еще одного первого зама, которую занял генерал-полковник С. А. Гоглидзе. Были сняты с постов заместителей министра Блинов, Селивановский, Королев, Макаров, Аполлонов. Рюмин был произведен в полковники и 20 октября назначен на пост замминистра и одновременно начальником следственной части.
Первые допросы Абакумова проводили представители прокуратуры, в частности заместитель Генерального прокурора СССР т. Мокичев. Вначале вопросы касались основного обвинения: «Почему вы долго не арестовывали Этингера, а после ареста запретили допрашивать о терроре, сказав Рюмину, что Этингер «заведет в дебри»?»
Абакумов отвечал: «Руководство 2 управления доложило мне, что Этингер является враждебно настроенным. Я поручил подготовить записку в ЦК. В записке были изложены данные, которые убедительно доказывали, что Этингер – большая сволочь. Это было в первой половине 1950 года, месяца не помню. Но санкции на арест мы не получали. А после того, как сверху спустили санкцию, я попросил доставить Этингера ко мне, так как знал, что он активный еврейский националист, резко антисоветски настроенный человек. «Говорите правду, не кривите душой», – предложил я Этингеру. На поставленные мною вопросы он сразу же ответил, что его арестовали напрасно, что евреев у нас притесняют. Когда я стал нажимать на него, Этингер сказал, что он честный человек, лечил ответственных людей. Назвал фамилию Селивановского, моего заместителя, а затем Щербакова. Тогда я заявил, что ему придется рассказать, как он залечил Щербакова. Тут он стал обстоятельно доказывать, что Щербаков был очень больным, обреченным человеком. В процессе допроса я понял, что ничего, совершенно ничего, связанного с террором, здесь нет. А дальше мне докладывали, что чего-то, заслуживающего внимания, Этингер не дает».
Абакумову также вменили в вину, что он не придал значения информации о создании в Москве молодежной подпольной