Вскоре после капитального ремонта в конструкции обнаружились серьезные недостатки. Перед тем множество «трещин и расседин» устранил крепостной мастер Савва Иванович Чевакинский, регулярно осматривавший дом по просьбе графа. Однако в 1758 году дворец стал оседать, начали рассыхаться деревянные конструкции, в некоторых местах разошлись стропила, и дождевая вода через щели затекала в камины. Медленно разрушавшемуся зданию не помогли переделки по плану известного московского архитектора Д. В. Ухтомского.
В 1769 году дворец решили разобрать до основания и выстроить новое, одноэтажное, но более просторное здание в модном классическом стиле. Протяженность его фасадов планировалась до 10 сажен в длину и около 6 в ширину. Пётр Борисович заказал план французскому архитектору Шарлю де Вальи, но готовый проект получил от его ученика, еще не успевшего прославиться молодого зодчего В. И. Баженова (1737–1799). Однако даже эти документы были получены только в 1774 году, когда закончилось возведение здания и подходили к концу отделочные работы.
По одной из версий, участие именитого мастера Вальи ограничилось исправлением чертежей, сделанных русскими специалистами. Возможно, он предложил отделку фасада, к тому времени еще не оформленного в определенном стиле. Его проект могли приспособить к зданию московские зодчие. Почерк Вальи отмечен в декоре парадных сеней.
Прихожую вначале намеревались обить тисненой кожей, но конечный вариант отделки напоминал одно из нереализованных творений прославленного француза.
Поправки Вальи почти не повлияли на удачное планировочное решение и внутреннюю отделку, разработанную и осуществленную местными строителями. Огромное состояние графа Петра Борисовича позволяло не останавливаться перед финансовыми затратами и привлекать к работам первоклассных архитекторов. В 1750-х годах для графа трудились архитектор Ю. И. Кологривов и представитель знаменитой династии крепостных дарований Ф. С. Аргунов. Последнему принадлежат проекты Грота, Кухонного флигеля, Бельведера, а также участие в разработке плана и отделке Итальянского домика.
С 1764 года часть нового дворца строилась под руководством прибывшего из Москвы архитектора К. И. Бланка. Он создал Оранжерею и Эрмитаж в сотрудничестве с Аргуновым. Основную часть планировочных работ в регулярном парке выполнил садовник Андрей Фохт. Несмотря на активное участие иноземных зодчих, основную роль в создании дворцового ансамбля сыграли местные мастера: крепостные архитекторы, живописцы, каменщики, резчики, геодезисты, мебельщики.
Большинство парковых статуй приписано неизвестным авторам, работавшим по рисункам Кологривова. Много изваяний завезено из Италии. Например, скульптуры «Наяда» и «Река Скамандр» помечены монограммами «B. S.». Статуя Минервы рядом с Оранжереей создана скульптором А. Ивановым. Фигуры и белокаменное резное украшение Грота являются творениями М. И. Зимина. Сложную