3 февраля 1764 Екатерина II, убедившись в исключительной честности Александра Алексеевича, назначила его генерал-прокурором Правительствующего сената вместо смещенного ею А. И. Глебова.
А. А. Вяземский строго придерживался данного ему наставления и пользовался полным доверием императрицы, что позволило ему не только долго удерживать высокий пост, но и значительно расширить свои полномочия. С 1780-х он стал заведовать не только делами юстиции, но также и внутренних дел, и финансов. Деятельно руководил он подчиненными ему прокурорами, направляя им наставления и поручения, а также Тайной экспедицией, занимавшейся расследованием политических преступлений. При нем были введены в действие Учреждения для управления губерниями (1775), которые подробно регламентировали права и обязанности местной прокуратуры.
За «прилежание, усердие и ревность к пользу службы» удостоен множества наград, в том числе орденов Св. Андрея Первозванного и Св. Александра Невского. Имел воинский чин генерал-поручика и гражданский – действительного тайного советника. В сентябре 1792 по болезни вышел в отставку.
Князь А. А. Вяземский скончался 8 января 1793.
При назначении А. А. Вяземского на должность, Екатерина II собственноручно написала ему подробнейшее наставление. Следует заметить, что за всю историю России, этого не сделал ни один ее правитель.
Исключение составляет только Председатель Совета Народных Комиссаров СССР В. И. Ленин, который также лично под запись продиктовал для Политбюро свою знаменитую статью «О „двойном“ подчинении и законности», ставшую в те суровые годы программной для всех работников прокуратуры.
Вам уже известно, что Вы имеете заступить генерал-прокурорское место.
Прежнее худое поведение, корыстолюбие, лихоимство, и худая вследствие сих свойств репутация, не довольно чистосердечия и искренности против Меня нынешнего генерал-прокурора, – все сие принуждает Меня его сменить, и совершенно помрачает и уничтожает его способность и прилежение к делам; но и то прибавить должно, что немало к тому его нещастию послужило знаемость и короткое обхождение в его еще молодости с покойным гр. Петром Шуваловым, в которого он руках совершенно находился, и напоился принципиями, хотя и весьма для общества полезными, но достаточно прибыльными для самих их. Все сие производит, что он более к тиомным, нежели к ясьным делам имеет