Неудивительно, что как только Петр Великий умер, Меншиков и другие сановники, оказавшиеся у власти при Екатерине I, постарались «задвинуть» Ягужинского. Они создали Верховный тайный совет, но Ягужинского в него не только не включили, а даже должности генерал-прокурора лишили – кому же нужен был такой обличитель их пороков? Между тем в управлении страной они активно пользовались идеями Ягужинского. Именно он уже в первые месяцы после смерти Петра Великого стал инициатором изменения политического курса страны, подал Екатерине I «Записку о состоянии России», в которой оценил это состояние как критическое. Он предлагал облегчить для народа налоговое бремя, сократить военные расходы, отказаться от завоевания новых территорий: известно, что в конце жизни Петр устремился мечтами к Индии, готовил туда поход, собирался послать корабли на остров Мадагаскар, чтобы создать там базу для завоевания Индии.
Меншиков и другие «верховники» (члены Верховного тайного совета) своего добились. Ягужинского сначала сделали штальмейстером – главным начальником царских конюшен, а потом вообще отправили с глаз долой – послом в Пруссию. Но перед отъездом Ягужинский все-таки сказал Меншикову все, что о нем думал. Больше им судьба не предоставила возможности поругаться. Когда Ягужинский вернулся в Петербург, сосланный Меншиков уже устраивался на новом месте, в Сибири. Но к этому времени карьера и самого Ягужинского была сломана – «око государево» в России уже не требовалось.
Ягужинский был мужчина красивый и очень нравился женщинам. С нескрываемой симпатией пишет о нем леди Рондо, жена английского посланника при дворе Анны Иоанновны: «Его наружность прекрасна, черты лица неправильны, но очень величественны, живы и выразительны. Он высок и хорошо сложен. Манеры его небрежны и непринужденны, что в другом человеке воспринималось бы как недостаток воспитания, а в нем столь естественно, что всякому видно: он исполнен достоинства, привлекающего к себе взоры даже в очень большом собрании, словно является в нем центральной фигурой».
Выходец из низов, он женился на богатой невесте,