Посетители музея, входя в концертно-выставочный зал, даже не подозревают, что находятся на фундаменте и в стенах начала XIX века, то есть у истока усадьбы.
В 1850 году в усадьбе новый владелец – московский третьей гильдии купец Афанасий Фёдорович Демин.
План дома этого года свидетельствует, что главный жилой дом на «красной линии» переулка, каменный, одноэтажный, с антресолями в юго-западной части, к этому времени достраивается каменным крыльцом (на месте бывшего деревянного) в северной части строения.
Кроме того, во владении в то время имелись: вдоль границ участка – многочисленные деревянные службы, занятые погребами, сараями, конюшнями. Всё строение, за исключением главного жилого дома, владелец исправляет починкою и устраивает пограничные брандмауэры.
В 1852 году А. Ф. Демин получает разрешение надстроить на каменном одноэтажном строении, занятом сараем и погребом, деревянные жилые мезонины и таковые же двухэтажные крыльца (в восточной и западной частях). При этой перестройке и был, очевидно, подновлён и модернизирован декор главного фасада дома, в частности, появились полуциркульные и прямоугольные сандрики над окнами и угловатые лопатки.
В 1869 году владение уже принадлежало московской мещанке Марии Фёдоровне Брюшковой. Планы домовладения, датированные 1869-м и 1871-м годами, показывают, что основные строения его не изменялись.
В 1870-1880-х годах усадьбой владеет Иван Фёдорович Сергеев.
7 мая 1890 года по так называемой купчей крепости владение со строениями и землёй приобретает жена тайного советника Елена Николаевна Грушка. И с этого момента, можно сказать, началась самая яркая, самая интересная история, наполненная высоким творческим накалом, высоким духовным смыслом, богатая событиями и людскими судьбами, и одновременно глубоким трагизмом, не обошедшим стороной это святое место Москвы. Для современников конца XIX-начала XX века эта усадьба была символом, средоточием духовных и культурных ценностей Москвы. Но это мы начинаем осознавать лишь после десятилетий упорного умалчивания.
В конце XIX века преимущественно одно-двухэтажные дома составляли 90% жилого фонда Москвы. В начале XX века ситуация решительно меняется. Начинается строительство двух-трёхэтажных каменных домов.
К проектированию и строительству зданий Арбатской части Москвы в конце XIX – нач. XX в. были привлечены известные, опытные, яркие архитекторы, среди которых И. П. Машков, С. И. Воскресенский, И. А. Иванов-Шиц.
Машков известен как строитель памятника первопечатнику И. Фёдорову (автор статуи С. М. Волнухин). По его же проекту в 1907 году было построено в стиле модерн северная часть Политехнического музея.
Не менее популярным в те времена был архитектор С. И. Воскресенский – автор проектов доходных домов в Москве: на углу Садово-Кудринской и Малой Бронной, Большой