Особняк в 1822 г. перешел в купеческие руки, несколько раз перестраивался, и современный его вид относится к второй половине XIX в. В 2003 г. он чуть было не был снесен: началась постройка большого офисно-жилого комплекса. Уже заработали бульдозеры и краны, и от татищевского особняка осталась лишь фасадная стена.
Особняк расположен между двумя переулками – Еропкинским и Мансуровским. Угол Мансуровского и Пречистенки занят представительным зданием (№ 21), в котором расположена Российская академия художеств.
Почти на всем протяжении XVIII в. это было владение лейтенанта флота Федора Лукича Талызина, умершего на штатской службе в чине тайного советника, а потом его жены Татьяны Семеновны. Внук его Степан Александрович Талызин продал участок в 1798 г. «девицам Анне и Катерине Чернцовым», а после них владельцем стал генерал-майор Алексей Алексеевич Тучков (он приобрел его в 1810 г. у майорши Екатерины Болтиной) и значительно перестроил главный дом усадьбы. Его внучка Наталья, жена Н.П. Огарева и впоследствии А.И. Герцена, писала о нем: «Дед был чисто русская, широкая натура; он был богат не столько по наследству, сколько по счастливой игре в карты, к которым питал большую страсть, – это был единственный его недостаток. Он был страстный поклонник и знаток живописи и архитектуры; к последней имел даже истинное призвание; в своих деревнях и в подмосковном имении он строил дома, оранжереи, разбивал великолепные сады, на которые приезжали любоваться знакомые; но когда все было доведено до возможного совершенства, он скучал и начинал мечтать о новой артистической работе, и нередко продавал устроенное имение в убыток; покупал новое и с жаром принимался за его устройство… В Москве дед Алексей Алексеевич также перестраивал свои дома до основания, оставляя одни капитальные стены. В доме, купленном у кн. Потемкина (наоборот: Потемкин купил у него. – Авт.), он устроил для картинной галереи, которую имел уже несколько лет, освещение сверху, которым все знакомые восхищались; его картинная галерея, замечательная для того времени, заключала несколько ценных оригиналов итальянской и фламандской школы и много хороших копий с картин этих двух школ».
В пожар 1812 г. дом Тучкова, к удивлению многих, остался неповрежденным на сгоревшей Пречистенке: «Этот дом один из окружающих его чудесно уцелел, – писал в дневнике П.В. Победоносцев, профессор Московского университета и отец известного впоследствии обер-прокурора Синода, – сгорели только конюшня