В 1820 г. усадьба была приобретена купцом А.Т. Тарасенковым, брат которого был лечащим врачом Н.В. Гоголя.
В середине XIX в. ушаковская усадьба перешла к купцу И.П. Бутикову (по нему назван Бутиковский переулок; на плане 1843 г. у него любопытное название – Урочище Киевец), застроившему ее несколькими корпусами текстильной фабрики, ставшей одной из крупнейших в Москве. В 1868 г. на ней (там были бумаго-, шерсто-, шелкопрядильное и красильное производства) работали 1700 человек (и еще «на стороне» было занято почти 1500 работников); вырабатывались в основном саржа, сатин, камлот на сумму 1 миллион рублей. В советское время это была Москворецкая фабрика имени Молотова. В доме № 12 в 1930-х гг. жил писатель А.Г. Малышкин, о котором писал Солженицын: «Он почти забыт на родине, а за границей вовсе неизвестен. Это несправедливо, ибо он был из ярких, чутких авторов того ломкого времени и нервно переплетен с его темами, тревогами, помехами, жизненными и художественными поисками». В Бутиковском переулке, в строении, находящемся в глубине двора дома № 11, в 1937 г. родился и жил филолог, специалист по позднеантичной и раннехристианской эпохам, академик С.С. Аверинцев. По словам его вдовы, «это был трехэтажный дом, в первых двух этажах были отдельные квартиры, которые прежние владельцы этого дома сдавали, а на третьем этаже была квартира, рассчитанная на троих: хозяина, хозяйку и прислугу. После революции в эту квартиру вселилось невероятное количество народа. Когда я вышла замуж за Сергея Сергеевича, в квартире проживало 23 человека. До войны и сразу после войны там было 45 человек, мне называла свекровь такую цифру».
Есть описание этой квартиры в Интернете более поздних лет: «Я помню коммуналку уже несколько другой – без байронических страстей, кровопролитий и доносов, а только с расписанием дежурств по коридору, огромным листом на туалете, призывавшим сливать воду и непременно гасить свет, и трескучим телефоном – одним на весь этаж. Говорить больше пяти минут было невозможно. Из просторной общей кухни дверь вела на черный ход, заставленный корзинами, банками с солениями, велосипедами и всякой рухлядью, которая превращала обычную лестницу в темный лабиринт. Лабиринт, увы, никуда не вел – снаружи ход был забит досками».
Вокруг обстановка тоже не была особенно благоприятной для мальчика Аверинцева. Философ Григорий Померанц вспоминал в некрологе Аверинцева: «В нашем переулке жили рабочие фабрики. Когда мы познакомились, я спросил Сергея: „Вас били маленьким?” – „Да, били”. – „Значит, вас били уже дети тех, кто драл меня за волосы”. Я с моей шевелюрой и Сережа со своим беззащитным видом слабого ребенка будили в этих детях трущоб зверей. Хотя Сережа принадлежал к тому же роду-племени, что и они»