Два нижних этажа дома сохранялись с XVIII в. – он тогда был хозяйственным строением усадьбы князей Мещерских. Ее главный дом (№ 4), стоящий торцом к переулку – характерная черта постановки жилых зданий в старой Москве, – появился здесь в первой половине XVIII в., возможно, в то время, когда участок принадлежал полковнику князю Г.С. Мещерскому. Внешний вид этого дома, однако, относится уже к ампирным временам, к восстановлению его после пожара 1812 г. после приобретения усадьбы у князя А.Н. Долгорукова в 1817 г. капитаном лейб-гвардии Семеновского полка Николаем Аполлоновичем Волковым на имя жены Екатерины Андреевны, урожденной княжны Оболенской. Напротив барского дома находился, как часто бывало у богатых домовладельцев, хозяйственный участок. По воспоминаниям князя В.М. Голицына, «…в самом элегантном центре Москвы. расположен был обширный пустырь. На этом пустыре разбит был огород с грядками капусты, моркови и прочих овощей, и огород этот возделывался многочисленной прислугой домовладельца, как для себя, так и для продажи». До конца 1840-х гг. в этой усадьбе, принадлежавшей Волковым (известны письма одной из представительниц этой семьи о России начала XIX в., опубликованные в журнале «Вестник Европы»), жил артист Малого театра И.В. Самарин – его отец был крепостным Волковых. Хозяйкой дома в 1858 г. становится графиня А.Ф. Закревская, жена московского генерал-губернатора Арсения Закревского, грубого солдафона, призванного Николаем I «подтянуть» после предыдущего губернатора «распустившуюся Москву»:
Князь Щербатов ускакал,
И ракетою конгревскою[3]
На уснувший город пал
Пресловутый граф Закревский.
С 1848 г. в продолжение 11 лет Закревский, не считаясь ни с какими законами, самоуправно вершил дела в Москве – о его «подвигах» неоднократно с возмущением и сарказмом писал Герцен. Император Николай Павлович, говоря как-то с известным остроумцем князем А.С. Меншиковым, сказал ему: «– Я езжу в Москву всегда с особенным удовольствием. Я люблю Москву. Там я встречаю столько преданности, усердия, веры. Уж точно, правду говорят: святая Москва.
– Этого теперь для Москвы еще мало, – заметил Меншиков. – Ее по всей справедливости можно назвать не только святою, но и великомученицею».
С 1880-х гг. и до 1918 г. дом-дворец принадлежал богатым меховщикам Сорокоумовским. Основатель династии зарайский купец Петр Ильич открыл в Москве меховую торговлю, которая со временем разрослась, и к 1830-м гг. он открыл несколько магазинов в российских городах, а в Москве – скорняжную фабрику. С 1859 г. делами фирмы управлял Петр Павлович Сорокоумовский, при котором она приобрела всероссийскую известность и вышла на международный рынок. Именно к нему обратилось дворцовое ведомство для заказа горностаевых мантий для коронации Николая II, и Сорокоумовский поставил соболь для реставрации шапки Мономаха. Глава фирмы активно занимался общественной деятельностью,