Не признавая за собой права на известность, более того, «нисколько ее не желая», Свербеев прослыл персоной известной задолго до того, как проявил себя в 57 лет замечательным литератором. Яркие воспоминания о друге Чаадаеве написал по настоянию все того же Петра Бартенева.
В 70 лет, живя на покое вдали от Москвы в Швейцарии, он начал главное дело жизни, сам того не ведая. По его признанию, «без всяких притязаний на авторство и без нужды на успех», побуждаемый дочерью, стал диктовать воспоминания. По словам Свербеева, она «понукала меня ежедневно к этому труду». Свои записки предназначал для семьи, детей (их родилось десять), многочисленных внуков. Заинтересовали мемуары читающую Россию. Перед собой Свербеев поставил цель – сохранить в памяти образ старой Москвы, описать быт, нравы, привычки общества разных социальных слоев. Поражает, как ему удалось в старости не забыть так много умерших лиц и мельчайших деталей былой жизни. «Как теперь гляжу я на эту милую старушку, скромную, но всегда опрятно одетую, низенькую ростом, худенькую, в белом как снег, накрахмаленном чепчике, из-под которого виднелись слегка напудренные волосы, сидящую за своим столом с книжкою или за гран-пасьянсом». Так вспоминал Свербеев спустя полвека после смерти Марию Перекусихину, постоянную спутницу, любимую прислугу Екатерины II, на руках которой императрица умерла.
«Ясно и отчетливо» написал Свербеев о бывшем начальнике статс-секретаре Комиссии прошений Петре Кикине, подавшем императору мысль о сооружении храма Христа Спасителя в Москве: «Русскую юриспруденцию, все наше судопроизводство, всю переписку к нему относящуюся, или так называемое делопроизводство, все это он почитал какими-то элевзинскими таинствами, профанам недоступными. В древней Греции в городе Элевзине вблизи Афин устраивались ежегодно в строгой тайне религиозные обряды. Чем туманнее и недоступнее бывала какая-нибудь бумага, тем казалась она ему дельнее».
Дмитрий Свербеев запечатлел в «Записках» выдающихся современников и «чудаков», «оригиналов», людей удивительных судеб. Ему хотелось показать «русского человека», «во всех его видах и со всеми качествами», «противоречиями». Что вполне ему удалось, о чем сам он не узнал. В двух томах «Записки. 1799–1826» вышли в Москве спустя четверть века после смерти автора, к столетию со дня его рождения в 1899 году. Если эти «Записки» переиздать, они нашли бы снова читателей-покупателей.
Ударив «одним концом по барину, другим по мужику», реформы Александра II вынудили князей и графов, владевших строениями и землей на Никитском бульваре, продавать их удачливым предпринимателям, купцам, мануфактуристам. Особняком владел с 1872 года купец Александр Никифорович Прибылов, сказочно разбогатевший на производстве полушерстяных и бумажных тканей. В том же году приобрел он колоссальный надел