В марте 1935 г. прокурор СССР Акулов был освобожден от занимаемой должности, затем арестован по необоснованному обвинению в контрреволюционной деятельности и 30 октября 1937 г. осужден к расстрелу Такая же участь постигла прокурора РСФСР В. А. Антонова-Овсеенко. Оба руководителя российской прокуратуры были реабилитированы посмертно, спустя более 20 лет.
Конституция Союза ССР, принятая 5 декабря 1936 г., включала специальную главу «Суд и прокуратура». Согласно Конституции СССР (ст. 113–117) и Постановлению Совета Народных Комиссаров СССР «О структуре Прокуратуры СССР» от 5 ноября 1936 г.[19] в СССР система органов прокуратуры в стране включала: Прокуратуру Союза ССР; прокуратуры союзных республик; прокуратуры автономных республик, краев, областей; прокуратуры округов, районов и городов.
Кроме того, в СССР действовали специальные прокуратуры: военные, водного и железнодорожного транспорта, прокуратуры войск НКВД.
С нападением на СССР фашистской Германии 22 июня 1941 г. были приняты Указы Президиума Верховного Совета СССР «О военном положении» и «Об утверждении Положения о военных трибуналах в местностях, объявленных на военном положении, и в районах военных действий». На военный лад была перестроена и деятельность прокуратуры.
Основное внимание сосредоточивалось на усилении надзора за исполнением законов о военном положении, выполнением заказов и поставок для Советской Армии вооружения, боевой техники, на борьбе с дезертирством, уклонениями от мобилизации на военную службу, соблюдении приказов военного командования, внося свой вклад в разгром врага, приближая Великую Победу.
В этой работе особенно важная роль принадлежала военным прокурорам, которые, наряду с решением перечисленных задач, занимались расследованием злодеяний фашистов и их пособников на временно оккупированных территориях СССР, а также тяжких преступлений в концлагерях, которые впоследствии были положены в основу обвинений на Нюрнбергском судебном процессе над главными военными преступниками фашистской Германии. В качестве главного обвинителя от СССР на процессе выступал Р. А. Руденко, который будучи прокурором Украины, лично возглавлял работу по расследованию злодеяний, бесчинств и террора нацистов на захваченных территориях против мирных граждан СССР.
Еще в период Великой Отечественной войны Указом Президиума Верховного Совета СССР от 16 сентября 1943 г. «Об установлении классных чинов прокурорско-следственных работников» прокурорам и следователям стали присваиваться классные чины, и вводилась форменная одежда.
19 марта 1946 г. постановлением Верховного Совета