В 1749 году указом императрицы Елизаветы участок А.Э. Мусина-Пушкина был у него отобран, поскольку он не возвел на нем никакого строения, и отдан будущему фельдмаршалу и графу А.Б. Бутурлину, о котором его правнук М.Д. Бутурлин написал в своих «Записках», что «он был прямодушный, хороший во всех отношениях человек и усердный христианин, но не особенно даровитый в военном искусстве, а взыскан был милостями дочери Петра, как ее когда-то фаворит».
Новый владелец выстроил деревянный усадебный дом, далеко отступя от «красной линии», как было принято в то время. Внешний вид этого здания, исчезнувшего еще в конце XVIII века, можно видеть на аксонометрическом плане Сент-Илера – Соколова 1764–1773 годов. На том же плане изображен и новый дом, построенный уже по «красной линии» и выходивший на Мойку и Гороховую улицу. Фасад его оформлен в стиле раннего классицизма, что позволяет датировать постройку началом 1770-х. Очевидно, возводил его уже сын Бутурлина – Петр Александрович, так как старый граф скончался в 1767 году. С 1774-го по 1778-й здесь помещался Английский клуб.
Наиболее интересной фигурой среди графов Бутурлиных, несомненно, был следующий и одновременно последний владелец из этого рода – Дмитрий Петрович Бутурлин (1763–1829), известный не только в России, но и в Западной Европе библиофил, собиратель уникальной библиотеки в 30 тысяч томов. Правда, жизнь этого незаурядного человека связана в основном с Москвой, куда он переехал, продав в 1797 году свой участок купцу Кусовникову, который значительно увеличил главное здание новыми пристройками.
Большой зал в доме Кусовникова привлек внимание членов вновь образованного Музыкального общества, и они в том же 1792-м сняли его для устройства концертов и «маскерадов». Об одном из таких концертов «Санкт-Петербургские ведомости» сообщали своим читателям следующее: «Начнется оный большою симфониею г. Гейдена, после которой славный г. Гезелер будет играть концерт на фортепиано. Потом будут петь несколько арий, и после оных кончится концерт торжественною музыкою сочинения г. Сарти с роговою музыкою и с хорами».
В 1817-м Кусовников продал дом Училищу глухонемых. Свой нынешний вид он приобрел в 1840-х годах, после перестройки архитектором П.С. Плавовым, и в настоящее время входит в комплекс зданий Педагогического университета.
Что до генерал-прокурора князя Н.Ю. Трубецкого, к которому отошла вторая часть конфискованных владений, то он не заслужил столь снисходительных оценок, как А.Б. Бутурлин. Известный историк XVIII века князь М.М. Щербатов называет его человеком умным, но чрезмерно честолюбивым, пронырливым, злым и мстительным. Другой же из хорошо знавших его, канцлер А.П. Бестужев-Рюмин, говаривал, что у Никиты Юрьевича душа истинно золотая, потому что, кроме золота, он никогда ничего не любил.
Трубецкой расширил и перестроил дом сосланного сенатора, придав ему тот вид, который запечатлен на чертеже из коллекции Берхгольца,