К радости владельца, при страшных наполеоновских пожарах его роскошный дворец нисколько не пострадал. Он не только не сгорел, но и не был разграблен. По официальной версии: в нем жил маршал Мюрат и французы тщательно охраняли графский дом и все дворцовое имущество. Однако по Москве упорно ходили слухи, что «счастью помогли» высокие масонские связи графа.
Для части русских масонов и революционно настроенной части русского дворянства Наполеон оставался носителем «прогрессивных идей» французской революции, и они хотели, чтобы Наполеон освободил Россию от «ига монархической власти». Русские якобинцы ждали Наполеона с радостью и нетерпением, как силу, которая сломит остатки самодержавной власти Александра I и утвердит конституционный образ правления, о котором русская аристократия не переставала мечтать со времени смерти Петра I. Находившиеся в зависимости от французских масонских орденов, они постарались оказать влияние на ход войны в благожелательном для Наполеона смысле. Поэтому французские масоны, как правило, не «трогали» дома и усадьбы своих русских братьев – каменщиков.
После войны 1812 года Разумовский настолько охладел к службе, что ушел на покой и стал жить в полном уединении в своем полной царской роскоши величественном дворце. Слишком дорогостоящее содержание дворца и огромные долги (Разумовский не сдерживал себя в тратах) тяготили графа, и несколько раз просил он императора купить имение за 850 тысяч рублей, из которых 800 тысяч сразу уходили на оплату долгов.
Графские потомки
Несмотря на отшельническую жизнь, граф не был одинок: он был женат, имел жену, двух сыновей, двух дочерей и множество внебрачных детей. Его отец, Кирилл Григорьевич, желая образумить молодого отпрыска, женил его «на первой невесте» России графине Варваре Петровне Шереметевой, родной внучке славного генерал-фельдмаршала времен Петра Великого.
И.П. Аргунов. Портрет B. П. Разумовской (урожд. Шереметевой). 1768 г.
Через 10 лет семейной жизни, вспыльчивый и высокомерный граф предложил своей законной супруге Варваре Петровне поселиться раздельно. Поговаривали, что она надоела своему заносчивому вольтерьянцу-мужу своей набожностью, суеверием и совершенною беспомощностью. После рождения младшего сына, Кирилла, граф безжалостно отобрал детей у их матери и выгнал ее вон.
Разбитая горем графиня поселилась в построенном ей доме в самом начале Маросейки. Ее родственники вспоминали: «Беспомощная, нерешительная, робкая и притом крайне простая, Варвара Петровна нашла себе опору в брате своем, графе Николае Петровиче Шереметеве; ему она совершенно вверила судьбу свою и без его совета