Однако до ухода Вышинского из Прокуратуры Союза ССР Рогинский продолжал выполнять свои обязанности. Карающий меч опустился на него только в августе 1939 года. Новый Прокурор Союза ССР Панкратьев 7 августа издал приказ (№ 1129), в котором нашел уважительную причину для увольнения Рогинского. В нем было сказано: «За преступное отношение к жалобам и заявлениям, поступающим в Прокуратуру Союза ССР, тов. Рогинского Григория Константиновича, несущего непосредственную ответственность за работу аппарата по жалобам и заявлениям, снять с работы заместителя Прокурора Союза ССР». На самом же деле причиной увольнения были не жалобы, которые тогда никого не интересовали, а некий мифический заговор прокуроров, в котором будто бы участвовал и Рогинский. Кстати, сам он многих прокуроров отправил под суд именно по такому же подозрению.
Почти месяц после увольнения Рогинского не трогали. Он был арестован 5 сентября 1939 года. Санкцию на арест дал Панкратьев (он и Берия сделали это только 7 сентября). В постановлении отмечалось, что имеющимися материалами в НКВД Рогинский Г. К. достаточно изобличается как один из руководящих участников антисоветской правотроцкистской организации, существовавшей в органах прокуратуры.
В отличие от многих политических дел того времени, когда трагическая развязка наступала довольно скоро, дело Рогинского расследовалось почти два года. Первое время он держался очень стойко и категорически отрицал какую-либо причастность к антисоветским организациям.
Судя по всему, на него было оказано жесточайшее психологическое давление, так как согласно документам, имеющимся в деле, Рогинский стал проявлять в тюрьме истерические реакции, которые выражались в плаксивости, боязни ложиться в кровать из-за того, что на него падают стены и он проваливается в пропасть. В начале января 1940 года Рогинский был осмотрен врачами, которые констатировали, что он душевной болезнью не страдает и обнаруживает ряд навязчивых ярких представлений неприятного характера, связанных со сложившейся для него ситуацией.
Вот выдержка из протокола его допроса:
«– Рогинский, вы государственный преступник и вам надлежит говорить на следствии не об облегчении тюремного режима, а о своих вражеских делах. Прекратите крутиться и приступайте к показаниям.
– Прошу мне изменить тюремные условия. Я не в состоянии рассказывать следствию о своих преступлениях.
– До сих пор упорно не желаете давать показания, ссылаясь на свое нервное расстройство. Прекратите свои увертки и говорите правду о ваших враждебных делах!
– Я уже говорил, что при таком психическом состоянии, в котором я сейчас нахожусь, я не могу давать показания о своих преступлениях.
– Из имеющегося у следствия акта психиатрической экспертизы