Старая дева и по совместительству графиня Елена Федоровна Соллогуб и ее не менее ветхая экономка Дарья Трофимовна, поменявшиеся при новой власти местом жительства, но отнюдь не обязанностями, уживались во дворце прекрасно. Дарья Трофимовна заведовала столовой в подвале – бывшей трапезной со сводами, а летом распоряжалась во дворе, обустроенном под манер итальянского патио с опутавшим все диким виноградом. Бывшая графская экономка, сообщает Серпинская, «в монашеском черном платье, вышколенная и аккуратная, раздавала торжественно порции чечевичного супа с воблой и пшенную кашу». Ее тоже бывшая хозяйка непременно заявлялась на обед с серебряным судком, унося все с собой: «…ходила она обношенная, в рваных перчатках, в стоптанных туфлях на веревочных подметках».
В один прекрасный день старушка не пришла со своим судком. Оказалось, ее ночью забрали в ЧК: в усадьбе нашли те самые несметные богатства, о которых рассказывал Рукавишников, в том числе запасы изъеденного молью шелка и мехов, 60 (!) пар импортных женских шелковых чулок и кучу обуви. Истинные ценности нашли в домовом храме усадьбы – золотые и серебряные изделия. Графиню отправили на исправление в концлагерь под Москвой, но тогда это был почти санаторий по сравнению с позднейшими учреждениями ГУЛАГа. Бабуля там на свежем воздухе поправилась, посвежела, привозила гостинцы экономке (ее отпускали из лагеря домой два раза в неделю).
У «бывших» тоже был свой круг общения, в частности, граф и художник Сергей Шереметев, съехавший из огромного фамильного дома на Воздвиженке, а также купчиха Елизавета Алексеевна Красильщикова, державшая до 1917 года салон в усадьбе на Моховой улице, куда частенько захаживали Шаляпин с Рахманиновым. Ее парадный портрет «под Ермолову» писал в 1906 году Валентин Серов, когда купчиха еще слыла женщиной своенравной, амбициозной и властной, с претензиями на светскость. У графа и купчихи закрутился роман, впоследствии они уехали в Париж, где у Шереметева была квартира-студия.
Но не все художники, как Шереметев, покинули родину, тем более что некоторым и ехать-то было некуда. Вот они-то и остались во дворце, один из них – Николай Вышеславцев, создатель галереи графических портретов фигур Серебряного века – Андрея Белого, Вяч. Иванова, Павла Флоренского, Владислава Ходасевича, Густава Шпета, Марины Цветаевой. По окончании в Москве Студии живописи и рисунка Ильи Машкова с 1908 по 1914 год Вышеславцев жил в Италии и во Франции. Участник Первой мировой войны, он был ранен, контужен, стал заикаться. В 1920 году во дворце прошла его выставка, на которую пришли и герои его полотен. «Надо прежде всего делать свое дело, – повторял художник, – притом возможно лучше