29 мая 1753 Я. П. Шаховской стал генерал-кригскомиссаром, прослужив в этой должности 7 лет. 15 августа 1760 императрица назначает его генерал-прокурором Правительствующего сената и одновременно конференц-министром. 25 декабря 1761 только что вступивший на российский престол император Петр III отправил Шаховского в отставку, и тот некоторое время «оставался не у дел». Короткое царствование Петра III закончилось дворцовым переворотом. Екатерина II «призвала» Якова Петровича Шаховского на службу, назначив сенатором, а в день своей коронации «пожаловала» ему орден Св. Андрея Первозванного.
1 апреля 1766 действительный тайный советник и сенатор Шаховской по состоянию здоровья вышел в отставку.
Князь Я. П. Шаховской скончался 23 июля 1777 погребен в Малой Соборной церкви Донского монастыря.
Граф П. И. Шувалов
На следующий день после назначения Я. П. Шаховского генерал-прокурором, 16 августа 1760 года, императрица Елизавета Петровна, обеспокоенная все более распространявшимися случаями нарушения законов и злоупотреблений в присутственных местах и судах, направила специальный указ Правительствующему сенату. Указ этот фактически стал программой действий нового генерал-прокурора. Вступив в новую для себя и столь ответственную должность, князь Я. П. Шаховской решил сразу же разобраться с состоянием надзорной работы прокуроров, для чего потребовал от них представления обстоятельных докладов.
Чтобы проиллюстрировать, насколько принципиально и смело новый генерал-прокурор отстаивал тогда государственные интересы, приведу только один пример. Речь пойдет о так называемых медных деньгах. Основной противник Шаховского граф П. И. Шувалов, будучи начальником экспедиции по переделке мелких денег, представил в Правительствующий сенат проект указа, в котором предлагал переделать всю медную монету таким образом, чтобы из пуда выходило не шестнадцать рублей, как было тогда, а тридцать два. Проект этот, на первый взгляд привлекательный, сенаторы, не особенно вникая в суть дела, одобрили. Категорически возражал против него только генерал-прокурор Шаховской. Он отчетливо понимал вред, который принесло бы государству внедрение в оборот легковесной монеты. Прокурор протестовал в Сенате, но там его не поддержали. После этого он написал письмо императрице Елизавете Петровне:
Всемилостивейшая государыня императрица. Правительствующий Сенат в рассуждении по нынешним в казне деньгам недостаткам последуя предложениям и показуемым расчислениям г-на сенатора гр. Петра Ив. Шувалова, согласно определили,