После его кончины в 1805 г. дом остался супруге, а после нее племянникам Новосильцовым и князьям Гагариным, которые продали Московскому купеческому обществу всю усадьбу 10 августа 1806 г. за 35 тысяч рублей для помещения в ней Коммерческого училища. Когда приспосабливали здание для нужд нового училища, то его достроили справа, а позади пристроили длинное крыло, видное теперь в Померанцевом переулке. Тогда же главное здание получило третий этаж и торжественный многоколонный портик на арках.
Здесь учились знаменитый русский историк Сергей Михайлович Соловьев (он и жил в здании училища, ибо его отец был преподавателем), а также не менее знаменитый русский писатель И.А. Гончаров, которым посвящены мемориальные доски.
В своих воспоминаниях «Мои записки для детей моих, а если можно, и для других» С.М. Соловьев писал, как «5-го мая 1820 года, в одиннадцать часов пополудни, накануне Вознесения, у священника московского коммерческого училища родился сын Сергей, слабый, хворый недоносок, который целую неделю не открывал глаз и не кричал. – Помню я тесную, плохо меблированную квартиру отца моего, в нижнем этаже, выходившую на большой двор училища, где в послеобеденное время и вечером гуляли воспитанники…».
Здесь есть и мемориальная доска с фамилией, мало кому известной: «Здесь с 1931 по 1938 год работал видный деятель международного рабочего движения, швейцарский коммунист Фриц Платтен». Он приехал в Россию еще в начале ХХ в., занимался революционной деятельностью, уехал к себе в Швейцарию, где участвовал в коммунистическом движении. Именно он организовал отправку в нескольких пломбированных вагонах через Германию Ленина с соратниками для подрывной работы в Россию. В Петрограде в первый день новой «коммунистической» эры, 1 января 1918 г., он спас Ленина от верной смерти. Ленин уехал с митинга на автомобиле, где сидели также Платтен и сестра Ленина, и, когда проезжали по мосту, начался обстрел. Он схватил Ленина и пригнул его вниз, а пуля попала в руку Платтена. Шофер ускорил ход и ушел от нападавших. Советская власть «отблагодарила» Платтена за спасение любимого вождя: его последователи, верные ленинцы, в 1938 г. его арестовали и упекли в Соловецкий лагерь, где вывели за колючую проволоку и 22 апреля (ирония судьбы – в день рождения Ленина) 1942 г. расстреляли.
В 2006 г. на доме открыли мемориальную доску в честь Н.И. и С.И. Вавиловых, которые были отданы в Коммерческое училище, так как будущие известные ученые происходили из купцов. Сергей Вавилов вспоминал: «Оглядываясь на прошлое, вижу теперь, что Коммерческое училище было хорошей средней школой. Программа была правильная, реальная, с большой дозой естествознания, физики, химии, технологии. Имелись совсем недурные кабинеты лаборатории, каковых сейчас иногда не найдешь и в столичных высших школах. Отличная химическая