В 1931 назначен на место Г.Г. Ягоды 1-м зам. пред. ОГПУ СССР. В 1932-33 секретарь ЦК КП (б) Украины по Донбассу. С 1933 прокурор СССР.
Его жизнь резко изменилась, когда 20 июня 1933 года постановлением ЦИК и СНК СССР, подписанным М. И. Калининым, В. М. Молотовым (Скрябиным) и секретарем ЦИК А. Медведевым, была учреждена Прокуратура Союза ССР. Она создавалась «в целях укрепления социалистической законности и должной охраны общественной собственности по Союзу ССР от покушений со стороны противообщественных элементов». На следующий же день первым Прокурором Союза ССР был назначен Иван Алексеевич Акулов, а его заместителем – А. Я. Вышинский.
20 июня 1933 года Акулов возглавил только что созданную Прокуратуру СССР (его заместителем стал Андрей Вышинский).
17 декабря 1933 года ЦИК и СНК СССР приняли исключительно важный законодательный акт – «Положение о Прокуратуре Союза ССР», над которым Акулов работал лично. Этим же постановлением была упразднена Прокуратура Верховного суда СССР. Свою первоначальную функцию она выполнила, и теперь требовался другой орган, более мобильный и оперативный, способный сцементировать всю прокурорскую систему. Положение устанавливало, что Прокурор Союза ССР назначается ЦИК СССР, а его заместитель утверждается Президиумом ЦИК СССР. Прокурор Союза ССР отвечал только перед Совнаркомом СССР, ЦИК СССР и его Президиумом.
Отличительной чертой Акулова, проявившейся на этом посту, была удивительная простота в общении как со своими подчиненными, так и с многочисленными посетителями. Укреплению связей работников прокуратуры с населением он уделял особое внимание. С первых же дней в Прокуратуре Союза ССР был налажен четкий порядок приема граждан и рассмотрения их жалоб и заявлений. Обязанность вести прием посетителей он возложил на всех сотрудников, а не только на тех, кто работал в приемной, причем на свой личный контроль брал наиболее важные жалобы, в которых сообщалось о грубых нарушениях законности.
Но в марте 1934 года И. А. Акулов издал неожиданный приказ «О перестройке аппарата прокуратуры в центре и на местах». Видимо, если бы он был более сведущим в прокурорской деятельности, он не стал бы так резко разрушать уже сложившуюся и хорошо зарекомендовавшую себя структуру, построенную по функциональному принципу. Теперь же отделы перестраивались по производственному и территориально-производственному принципу, что, по мнению руководства Прокуратуры Союза ССР, должно было обеспечить «высокое качество работы по охране общественной (социалистической) собственности и осуществлению социалистической законности» во всех сферах народного хозяйства и государственного аппарата, усилить единоначалие и личную ответственность каждого прокурора за порученную работу.
Для того чтобы сосредоточить «основное внимание органов прокуратуры на судебно-следственной деятельности», решено было ликвидировать разделение на общий