30 апреля 1787 года П.В. Завадовский женился на графине Вере Николаевне Апраксиной; этот брак породнил его с самыми аристократическими российскими фамилиями. Он тогда писал своему другу С.Р. Воронцову: «Жену люблю, и она меня взаимно… Со стороны домашнего быта все имею, чтобы быть довольным». Однако несчастьем супругов было слабое здоровье их детей: из десяти рожденных выжили пятеро, а до зрелых лет дожили только трое – два сына и дочь.
31 августа 1787 года П.В. Завадовский получил новое назначение – он стал членом совета при Высочайшем дворе. Через него Екатерина II стала объявлять Сенату свои повеления. В том же году императрица доверила Завадовскому опеку над своим сыном, графом А.Г. Бобринским. 14 мая 1794 года Завадовский был избран почетным членом Императорской академии художеств. Несмотря на множество возложенных на него дел, Екатерина II поручала ему еще и просмотр своих сочинений, многие из которых были посвящены проблемам воспитания, так как «он был очень силен в русском слоге». В 1793 году Петр Васильевич получил орден Св. Александра Невского, а в начале 1795-го – чин действительного тайного советника.
В первые годы правления Павла I карьера П.В. Завадовского еще более пошла вверх: в день своей коронации, 5 апреля 1797 года, император пожаловал Петру Васильевичу графское достоинство, орден Св. Андрея Первозванного и орден Анны 1-й степени. Завадовский продолжил заседать в совете при Высочайшем дворе, в Сенате, в Воспитательном обществе, управлять Заемным банком. В 1798 году он был назначен главным директором Ассигнационного банка по личному распоряжению Павла I.
8 января 1799 года Завадовскому был пожалован командорский крест Иоанна Иерусалимского, после чего Павел I посетил бал у Петра Васильевича – по тем временам это был высший знак монаршей милости. Но благосклонность императора Павла, как известно, была переменчива, и уже 6 ноября 1799 года Завадовский был уволен от службы и выслан из Петербурга в свое имение – село Ляличи, где и пребывал до смерти Павла. Там за Завадовским был установлен негласный надзор; из донесений надзирателя мы знаем, что он вел жизнь скромную и тихую,