В апреле 1937 года Панкратьев был избран заместителем секретаря партийного комитета Прокуратуры СССР. В характеристике, подписанной секретарем парткома Горбулевым, отмечалось, что Панкратьев принимал активное участие в работе прокуратуры по выкорчевыванию врагов народа и ликвидации последствий вредительства. Сам Михаил Иванович писал в автобиографии, что он колебаний от линии партии не имел, взгляды разного рода оппозиции не разделял.
Жил он очень замкнуто, не любил ходить ни в театры, ни в гости.
20 мая 1938 года Панкратьев был назначен Прокурором РСФСР и проработал на этой должности в течение года. Он ревностно выполнял все директивы партии и правительства, а также указания и распоряжения Прокурора Союза ССР Вышинского. Последний рекомендовал его на свое место после того, как стал заместителем Председателя Совнаркома СССР. Правда, особого выбора у него и не было – после основательных и жестоких сталинских чисток кадры органов прокуратуры серьезно оскудели.
31 мая 1939 года Панкратьев занял кабинет Прокурора Союза ССР в здании на Пушкинской улице. На высоком посту он пробыл немногим более года. Первая жена Панкратьева, Ольга Сергеевна, рассказывала:
«Михаила назначили на эту должность в страшное время. Шли аресты и расстрелы людей, занимавших высокие посты. Телефон в нашей квартире на Ленинском проспекте звонил, не умолкая, хоть совсем его срезай, да нельзя. По сто раз на дню: «Помогите с Михаилом Ивановичем встретиться, умоляю!» Мне было запрещено отвечать, и я молча вешала трубку. Все равно повлиять на мужа никак не могла. Бакинский прокурор, с которым когда-то жили в одном доме, был арестован. Его жена все время искала со мной встречи. Я жалела ее, рассказывала мужу, как она убивается, спрашивала, можно ли ей помочь. Михаил закрыл эту тему раз и навсегда. Говорить дома о его работе было запрещено… С какого-то времени Михаил стал просить, чтобы в доме был коньяк, чтоб, когда он придет с работы, бутылка стояла. Так всю ночь, бывало, за бутылкой и просидит.
А когда я забывала поставить, сердился: «Ты пойми, Оля, мне хоть рюмочку, но обязательно надо выпить».
Сколько санкций на арест и расстрел ему приходилось подписывать! Неимоверное количество! Он много подписывал, но и на пересмотр много отсылал. Не терпел никакой неясности. Когда его секретарь спрашивала, что делать с неподписанными доносами и жалобами, которые