Его арестовали 19 октября 1951 года. В постановлении на арест указывалось: «Шейнин изобличается в том, что, будучи антисоветски настроен, проводил подрывную работу против ВКП(б) и Советского государства. Как установлено показаниями разоблаченных особо опасных государственных преступников, Шейнин находился с ними во вражеской связи и как сообщник совершил преступления, направленные против партии и советского правительства». Арест санкционировал Генеральный прокурор Союза ССР Г. Н. Сафонов.
В дальнейшем прокуратура принимала участие в этом деле чисто символически – с ее стороны было лишь ежемесячное продление срока ареста и один-два допроса, учиненных помощником военного прокурора. Можно сказать, что Прокуратура СССР бросила на произвол судьбы своего сотрудника, отдавшего следственной работе 27 лет жизни. Сам Шейнин связывал все происшедшее с происками Абакумова, хоть тот и сам уже находился в тюрьме. В конце 1949 года Шейнин со своей командой занимался расследованием причин пожара на даче Ворошилова и установил халатность органов безопасности, отдав виновных под суд. После этого Абакумов не раз отпускал в адрес Шейнина невнятные угрозы и намеки.
Дело Шейнина тянулось два года – другие, даже гораздо более сложные, заканчивались гораздо быстрее. Допросы перемежались очными ставками, дело пухло и к концу насчитывало уже семь солидных томов. Семь старших следователей МГБ по особо важным делам принимали в нем участие. Шейнину пришлось выдержать около 250 допросов, в основном ночных, во время которых его шантажировали, оскорбляли, грозили побоями. За «провинности» лишали прогулок, книг, передач. Больше года ему пришлось пробыть в одиночке, шесть дней его продержали закованным в наручники. К концу следствия, по его словам, запас «нравственных и физических сил был исчерпан».
В первый год ведения дела усиленно раскручивался так называемый еврейский заговор. Шейнин тогда «выдал» всех и вся. Эренбург, братья Тур, Штейн, Крон, Ромм, Б. Ефимов, Н. Рыбак – все они якобы вели с ним «националистические» беседы. Вот типичный образчик стиля его показаний: «Эренбург – это человек, который повлиял, может быть в решающей степени, на формирование у меня националистических взглядов». Он обвинял Эренбурга в разговорах о том, что «в СССР миазмы антисемитизма дают обильные всходы и что партийные и советские органы не только не ведут с этим должную борьбу, но, напротив, в ряде случаев сами насаждают антисемитизм», что советская пресса замалчивает храброе поведение евреев во время Великой Отечественной войны, что к евреям отношение настороженное и т. д.
Задачей следователей было расширить круг подозреваемых «еврейских националистов», поэтому от Шейнина требовали показаний даже на Утесова, Блантера, Дунаевского, Шостаковича. В своем письме министру госбезопасности Игнатьеву Шейнин писал: «Следователь пошел по линии тенденциозного подбора всяческих, зачастую просто нелепых данных, большая часть которых была состряпана