31 мая 1939 года на сессии Верховного Совета СССР Вышинский утвержден заместителем председателя СНК СССР. На этом посту курировал культуру, науку, образование и репрессивные органы. Ни один приказ наркома внутренних дел СССР, наркома юстиции СССР, Прокурора СССР, ни одно постановление Пленума Верховного Суда СССР не могло быть утверждено без его распоряжения. Разрешал конфликты внутри репрессивных ведомств.
Выступал в качестве одного из основных организаторов крупных уголовно-правовых кампаний в 1940–1944 гг. Ему подчинялись структурные подразделения СНК СССР: сектор административно-судебных учреждений и НКВД (1939–1940), правовой отдел. На посту заместителя Председателя СНК СССР вел сложную интригу по устранению со своих постов В. В. Ульриха и Л. П. Берия.
В 1935–1939 гг. входил в состав секретной комиссии Политбюро ЦК ВКП (б) по судебным делам. Комиссия утверждала все приговоры о смертной казни в СССР.
Если о деятельности Вышинского на посту Прокурора Союза пишут и говорят много, то после 1939 года все обличители как воды в рот набрали. Потому что очень это невыгодно – говорить и писать, чем он занимался потом.
12 июля 1941 года Вышинский присутствовал при первом акте, приведшем к созданию антигитлеровской коалиции, – подписании соглашения СССР с Великобританией о совместных действиях в войне против Германии. Член советской делегации на Ялтинской (февраль 1945 г.) и Потсдамской (июль – август 1945 г.) конференциях глав стран антигитлеровской коалиции.
Теоретик уголовно-процессуального права, изобрел «презумпцию политической виновности». Автор формулировки: «Лучше осудить десять невиновных, чем оправдать одного виновного».
Юридические формулировки в речах подменял ругательствами типа «цепные псы империализма», «звери в человечьем облике», «вонючая падаль», «зловонная куча человеческих отбросов», «холуи и хамы капитализма». После ареста Л. П. Серебрякова в 1936 г. занял его дачу на Николиной горе. Персональным шофером у него был С. К. Гиль (1988–1966), возивший В. И. Ленина.
Вышинский был известен своей грубостью с подчинёнными, способностью наводить страх на окружающих. Но перед высшим начальством держался подобострастно,