Обилие мужчин-фаворитов у трона оттеснило от императрицы Екатерину Дашкову, которая, несмотря на общность интересов (любовь к чтению, литераторство), все же не могла заменить ей Орлова с Потемкиным. В 1764 году ушел из жизни супруг княгини бригадир Михаил Дашков, она отправляется в Москву, где в мае 1766-го покупает на Большой Никитской улице владение князя Николая Алексеевича Долгорукова (часто пишут про его дом, но точнее будет сказать – развалины). Причиной покупки послужил тот факт, что в прежнем доме ее мужа (по соседству) она жить уже не могла. Зданием распорядилась по-своему свекровь княгини: «Дом… вследствие какой-то ошибки или недосмотра в купчей был перекуплен отцом Дашкова и отказан в распоряжение его матери, а она, заключив себя навсегда в монастырь, передала его своей девице Глебовой». И тогда Дашкова, руководствуясь необходимостью иметь в Москве крышу над головой, «вынуждена была купить небольшой участок земли с полуразвалившимся строением и на его месте поставить другое деревянное здание, более удобное для меня, чем то, которого я лишилась». Судя по запискам княгини, дом обошелся ей «очень дешево», что вызвано было его жутким состоянием.
С 1769 года опальная Дашкова подолгу живет за границей (во Франции она много общалась с Вольтером и Дидро), окончательно возвращается она в Россию в 1782 году. Екатерина II рада старой знакомой и даже предлагает ей деньги на погашение долгов и постройку нового каменного дома в Москве взамен деревянного, на что Дашкова отвечает другой просьбой – пристроить фрейлиной к императрице ее племянницу Анну Полянскую. Государыня соглашается. Отказавшись от денег, княгиня сделала верный ход, ее благородство было оценено, и в 1783 году начинается карьерный взлет Дашковой, который ведет и к материальному благополучию. В начале 1790-х годов в Москве начинается строительство каменной усадьбы на Большой Никитской.
Автором проекта усадьбы называют Василия Баженова, в доказательство чего приводится фраза из переписки наследников княгини – брата, посла в Англии графа Семена Воронцова, и его сына Михаила: «Моя покойная сестра считала, что обладает вкусом в изящных искусствах, была весьма своевольной и, несомненно, стесняла Баженова, своего архитектора, навязывая ему свои идеи и не заботясь о том, соответствовали ли они замыслам этого зодчего» (4 июня 1820 года). К тому времени Дашкова уже лет десять как померла. Мы можем лишь предполагать, как проходил процесс проектирования и строительства. Вероятно, бережливая Дашкова навязывала Баженову свое мнение в том числе и из соображений экономии: еще Екатерина называла ее скрягой.
Дашкова вообще была о себе высокого мнения. В частности, при строительстве в Петербурге