В 1839 году умер Свиньин, и его обширная усадьба и барские палаты перешли к купцам Расторгуевым, владевшим ими вплоть до Октябрьской революции.
Дом генерала Хитрова приобрел Воспитательный дом для квартир своих чиновников и перепродал его уже во второй половине прошлого столетия инженеру Ромейко, а пустырь, все еще населенный бродягами, был куплен городом для рынка. Дом требовал дорогого ремонта. Его окружение не вызывало охотников снимать квартиры в таком опасном месте, и Ромейко пустил его под ночлежки: и выгодно, и без всяких расходов.
Страшные трущобы Хитровки десятки лет наводили ужас на москвичей.
Десятки лет и печать, и дума, и администрация вплоть до генерал-губернатора, тщетно принимали меры, чтобы уничтожить это разбойное логово.
С одной стороны близ Хитровки – торговая Солянка с Опекунским советом, с другой – Покровский бульвар и прилегающие к нему переулки были заняты богатейшими особняками русского и иностранного купечества. Тут и Савва Морозов, и Корзинкины, и Хлебниковы, и Оловянишниковы, и Расторгуевы, и Бахрушины… Владельцы этих дворцов возмущались страшным соседством, употребляли все меры, чтобы уничтожить его, но ни речи, гремевшие в угоду им в заседаниях думы, ни дорого стоящие хлопоты у администрации ничего сделать не могли. Были какие-то тайные пружины, отжимавшие все их нападающие силы, – и ничего не выходило. То у одного из хитровских домовладельцев рука в думе, то у другого – друг в канцелярии генерал-губернатора, третий сам занимает важное положение в делах благотворительности.
И только Советская власть одним постановлением Моссовета смахнула эту не излечимую при старом строе язву и в одну неделю в 1923 году очистила всю площадь с окружающими ее вековыми притонами, в несколько месяцев отделала под чистые квартиры недавние трущобы и заселила их рабочим и служащим людом. Самую же главную трущобу «Кулаковку» с ее подземными притонами в «Сухом овраге» по Свиньинскому переулку и огромным «Утюгом» срыла до основания и заново застроила. Все те же дома, но чистые снаружи… Нет заткнутых бумагой или тряпками или просто разбитых окон, из которых валит пар и несется пьяный гул… Вот дом Орлова – квартиры нищих-профессионалов и место ночлега новичков, еще пока ищущих поденной работы… Вот рядом огромные дома Румянцева, в которых было два трактира – «Пересыльный» и «Сибирь», а далее, в доме Степанова, трактир «Каторга», когда-то принадлежавший знаменитому укрывателю