После подписания Договора об образовании Союза ССР возникла необходимость создания общесоюзной системы правоохранительных органов. Постановлением ЦИК СССР от 6 июля 1923 г. «О Верховном Суде Союза ССР» Президиуму ЦИК СССР в связи с принятием Конституции СССР было поручено разработать Положение о Верховном Суде Союза Советских Социалистических Республик, которое было утверждено 23 ноября 1923 г., и в нем были определены функции, правомочия, структура и штаты Прокуратуры Верховного Суда Союза ССР. В составе Верховного Суда СССР учреждался пост Прокурора Верховного Суда СССР. Прокурор Верховного Суда СССР и его заместитель в соответствии со ст. 46 Конституции СССР 1924 г. назначались Президиумом ЦИК Союза ССР и были подотчетны Президиуму. Прокурор Верховного Суда давал заключения по всем вопросам, решаемым этим судом, поддерживал обвинение и имел право опротестовывать решения Верховного Суда в Президиум ЦИК СССР. Прокурор предлагал на рассмотрение Президиума ЦИК и Верховного Суда СССР вопросы, отнесенные к компетенции последнего, опротестовывал решения Верховного Суда СССР, истребовал решения и приговоры верховных судов союзных республик, проверял их в порядке надзора и передавал на рассмотрение Верховного Суда СССР.
В Основах судоустройства Союза ССР и союзных республик, принятых 29 октября 1924 г., была определена компетенция прокуроров союзных и автономных республик. Здесь воспроизводилось Положение о прокурорском надзоре 1922 г. (общий надзор, надзор за следствием, поддержание обвинения в судах, надзор за местами лишения свободы) с добавлением, что прокуратура ограждает интересы трудящихся по гражданским делам.
Постепенно расширялась компетенция прокурора Верховного Суда СССР, который получил право: наблюдать за законностью постановлений наркоматов и иных центральных учреждений СССР (кроме ЦИК и СНК СССР) с внесением представлений по поводу выявленных нарушений в Пленум Верховного Суда СССР; наблюдать за законностью постановлений ЦИК союзных республик; надзирать за законностью судебных решений.
Положением о судоустройстве РСФСР 1926 г. на органы прокуратуры были возложены две дополнительные функции:
участие в гражданском процессе в целях ограждения интересов государства и трудящихся, расширившее функцию судебного контроля;
общее наблюдение и согласование деятельности