От Р.И. Воронцова, скончавшегося в 1783 г., дом перешел к его сыну Александру Романовичу, одному из самых известных государственных деятелей нескольких царствований – Екатерины, Павла и Александра, глубоко образованному и по-человечески симпатичному. Он начал службу в 15 лет в Измайловском полку, получил образование за границей, вернувшись в Россию, пошел по дипломатической стезе – поверенным в Вене, посланником в Гааге, полномочным министром в Лондоне, а потом он жил в Петербурге и занимал пост президента Коммерц-коллегии, но всегда находился в отдалении от двора Екатерины. Он старался облегчить участь своего подчиненного А.Н. Радищева, заключенного в крепость и потом сосланного в Сибирь. В 1802 г. император Александр назначил его государственным канцлером.
В 1801 г. Александр Романович продал усадьбу генерал-майору Александру Дмитриевичу Арсеньеву (1766–1819), московскому уездному предводителю дворянства, который владел ею недолго. Уже в 1809 г. усадьбу приобрела графиня Прасковья Васильевна Мусина-Пушкина. Есть сведения о том, что дом пострадал от пожара при нашествии Наполеона. В «Московских ведомостях» в августе 1813 г. было опубликовано такое объявление: «Продается Графини Прасковьи Васильевны Мусиной-Пушкиной большой погорелой каменный дом, состоящий здесь в Москве, на Знаменке, нижний этаж весь со сводами». Следующий владелец, статский советник Н.П. Римский-Корсаков, брат Е.П. Яньковой, известной по «Рассказам бабушки», приобрел дом 12 января 1816 г. и существенно перестроил его к 1818 г., когда он приобрел яркие черты классического дворца с представительным восьмиколонным портиком ионического ордера.
Позже дом принадлежал представителям знатных родов – Гагариным (Н.П. Римский-Корсаков продал его 12 июня 1825 г. князю Сергею Ивановичу Гагарину, одному из основателей Общества сельского хозяйства) и Бутурлиным, а в начале XX в. сдавался под гимназию Е.А. Кирпичниковой, отличавшейся весьма либеральными взглядами. По воспоминаниям ее ученика, эта гимназия «была, кажется, единственной тогда в России средней школой, где от первого до последнего класса мальчики и девочки обучались вместе. Правительство косо смотрело на нашу гимназию, ей не раз угрожало закрытие». Е.А. Кирпичникова, дочь известного либерального историка литературы профессора А.И. Кирпичникова, продолжала работать в школе, формально передав ее другой учительнице – П.Н. Поповой. Затем пришлось переменить не только название, но и статус гимназии: она перешла в ведение объединившихся родителей и учителей и получила странно звучащее название – «Гимназия общества гимназии П.Н. Поповой». Здесь учились дети многих известных актеров – Качалова, Москвина, Лужина.
В 1840-х гг. в доме жил известный филолог Ф.И. Буслаев. «Моя комната, – вспоминал он, – была наверху, окнами во двор», там была и последняя московская квартира философа С.Н. Трубецкого,