Вся эта счастливая и мирная жизнь закончилось в 1917 году. Спасаясь от большевиков, Олсуфьевы покинули Россию и обосновались в Италии, на своей вилле «Русалка». Фамильный дом национализировали и заселили городскую бедноту, которая и жила в этих стенах до 1925 года. Затем дом занял отдел детских учреждений при ВЦИК и детский сад. Заведующая этим садом Е. Месина рассказывала, что однажды к ней пришли две пожилые дамы из бывших и попросились переночевать в детском доме. Она отказала, но дамы были настойчивы и пришли снова. Когда им не удалось проникнуть в дом легально, они под покровом ночи пробрались на территорию особняка, разрыли клумбу и по подземному ходу проникли сперва в подвал, а потом на первый этаж, где под полом был оборудован вместительный тайник. Утром служащие обнаружили лишь разобранные половые доски, пустой тайник и тонкий аромат дорогих французских духов.
Вплоть до 1917 года Поварская считалась самой аристократической улицей в Москве, среди ее домовладельцев была одна княжеская и семь графский семей. Именно в этом особняке собиралась самая влиятельная в России масонская ложа, так как граф Василий Алексеевич Олсуфьев был известным масоном.
Предполагают, что именно он спрятал в тайном хранилище не только фамильные сокровища, но и сакральные масонские артефакты, старинные рукописи и секретные документы, а также золотые предметы, принадлежавшие Ложе. Есть надежда, что найденный тайник не единственный в родовом гнезде Олсуфьевых и когда-нибудь таинственные реликвии вольных каменщиков явят себя.
В начале 1930-х годов в особняке Олсуфьевой разместился Центральный дом литераторов, более известный как ЦДЛ. Это было легендарное место – здесь в разные годы бывали все известные советские и русские писатели, его посещали и высокие гости из-за границы – известный датский физик Нильс Бор, превосходный художник Рокуэлл Кент, президент США Рональд Рейган, а также Марлен Дитрих, Жерар Филипп, Джина Лоллобриджида и многие другие. Позже в парадных залах особняка открылся знаменитый ресторан ЦДЛ, ставший культовым местом у московской богемы. Здесь исключали из писателей Пастернака. Здесь читали свои рукописи, спорили, отмечали юбилеи, а иногда и просто забегали выпить чашечку кофе Твардовский, Симонов, Шолохов, Фадеев, Зощенко, Окуджава и др. Здесь выпивали, ссорились и мирились члены советской культурной элиты, вели переговоры ельцинские олигархи. В 1995 году в этом здании была зарегистрирована Великая ложа России, здесь же и отпраздновали это событие.
Дважды, после почти полувекового изгнания, приезжали в Москву из Италии и навещали свое родовое гнездо на Поварской внучки графа Олсуфьева – Мария и Дарья. Обе они стали писательницами: старшая, Мария, известна как переводчица на итальянский язык русских писателей, младшая, Дарья – тем, что была замужем за любимцем Муссолини Юнио Валерио Боргезе, и своим литературными трудами путеводителями – «Старый Рим» и «Гоголь в Риме».
Именно в своем бывшем доме, ставшем Домом писателей, переводчица