Принадлежащий Кузьме Матвеевичу дом на Большой Ордынке использовался, скорее всего, для хозяйственных нужд. В XIX веке дом Матвеева был объединен с питейным заведением в одно владение и составлял часть усадебного ансамбля. Владение переходило от одного хозяина к другому, а в середине XIX века усадьбу приобрела статская советница Софья Юрьевна Самарина – дочь знаменитого поэта Ю.А. Нелединского-Мелецкого и мать философа Ю.Ф. Самарина. Муж Софьи Юрьевны Федор Васильевич «был человеком просвещенным в лучшем смысле этого слова. Его общественным идеалом была служба отечеству, служба в исключительно тогдашнем смысле, в смысле военной или гражданской, чиновничьей, службы, и из своих сыновей он стремился сделать полезных слуг отечеству. Был он человеком дела и предприимчивым хозяином своих больших имений. Строгость к себе и к другим – он не терпел праздности – соединялась в нем с глубокой верой и живым христианским чувством»[14]. Так написано в книге «Молодые годы Юрия Самарина» А.В. Комаровской – представительницы рода Самариных.
Отец Софьи Юрьевны до смерти Павла I был его статс-секретарем и сенатором, а после оставался приближенным к вдовствующей императрице Марии Федоровне, а сама Софья Юрьевна до замужества была ее фрейлиной. У Самариных родилось девять детей. Мария Федоровна и император Александр I были крестными их первенца Юрия. Ради семьи Федор Васильевич Самарин оставляет службу при дворе и вместе с семьей переезжает в Москву. «Самая лучшая служба, которую в настоящее время я могу сослужить моему отечеству, – это воспитать для него пятерых граждан» – так мотивировал перед императрицей свое решение Самарин. Судьба Софьи Юрьевны сложилась трагично: она пережила пятерых своих детей.
Следующее за бывшими домами усадьбы Самариной продолговатое двухэтажное здание составлено из объемов разного времени, объединенных в XIX веке общим характером фасадного декора. Сейчас кажется, что это один протяженный дом, хотя декор на современном здании отсутствует. В конце XIX века все дома с № 2 и 4 были одним владением, во дворе которого построили жилые и хозяйственные строения. Эта усадьба занимала почти целый квартал. Вероятнее всего, ее владельцем был богатый купец или промышленник, имевший огромную семью, для которой и устраивалась внушительного размера усадьба.
В исследовательской работе историка А.И. Дубодела говорится: «Дом купца окружали различные хозяйственные постройки, среди них: три амбара и сарай для хранения различных вещей, баня, конюшня с каретным сараем, несколько жилых домов для конюхов.