28 сентября 1937 года Прокурор РСФСР Н. М. Рычков направил ходатайство на имя Прокурора Союза ССР Вышинского с просьбой назначить Волина вторым заместителем Прокурора РСФСР. В этом письме, в традициях того времени, особо подчеркивалось, что Волин в других партиях не состоял, партвзысканиям не подвергался. Сведений о принадлежности его к оппозициям и антипартийным группировкам не имеется. После продолжительной проверки по линии органов госбезопасности Волин 1 января 1938 года был назначен заместителем прокурора республики.
Начинать свою работу в Прокуратуре РСФСР Волину пришлось в очень непростой обстановке. «Меня не коснулась роковая круговерть тех лет, – вспоминал он, – но я насмотрелся, как судьба играет человеком, когда исчезает то один, то другой партийный, советский или иной деятель. Иногда приходила в голову мысль: а надолго ли я прописан в Москве? Но прошло немного времени, и я уже вполне мог ощутить, что Москва живет двойной политической жизнью – одной, официальной, на виду, другой – скрытой, в кругу семьи или друзей. Неистовствовал глубоко ложный накал бдительности, порой переходящий в явный психоз, повсюду выискивались враги народа и их пособники, повсюду шла острая борьба с так называемым либерализмом и примиренчеством к врагам народа, вызывая обстановку, которой пользовались действительные враги народа, карьеристы, различного рода проходимцы да лица, сводившие личные счеты.
Подметные письма, клевета, ложные доносы стали распространенным оружием в избиении честных людей. Всякий доносчик, боровшийся с либерализмом и примиренчеством, считался надежным, бдительным человеком, а сомневающийся, а тем более защищающий считался подозрительным, если не прямым пособником врагов народа. Все это наводило на многих людей страх и неуверенность в завтрашнем дне, страх за жизнь мужей, отцов, братьев, сестер.
Заканчивался процесс Бухарина и других видных деятелей. Ошеломляли покаянные, униженные признания подсудимых, которые, как позже стало известно, были заранее согласованы в Кремле. Что творилось на Старой площади и на Лубянке, не знал никто, в том числе, как это ни удивит современников, прокурор республики и я, его заместитель.
Не обзаведясь еще новыми друзьями, я чувствовал себя в Москве одиноким, не с кем было поделиться сокровенным. В те дни многие старались показать себя истинными революционерами, но искренне отваживались говорить только вдвоем; третий мог оказаться доносчиком».
25 июля 1939 года Волин был назначен Прокурором РСФСР сроком на пять лет.
С первых же дней работы в должности прокурора республики А. А. Волин стал проявлять самостоятельность по наиболее принципиальным вопросам и при отстаивании своей точки зрения не боялся