С падением канцлера Стрешнев был «лишен чинов, наказан плетьми» и сослан в Охотск.
В 1742 году конфискованный дом вернули дочери Волынского – Марии Артемьевне, бывшей замужем за сенатором графом Иваном Илларионовичем Воронцовым (1719–1786), братом вице-канцлера М.И. Воронцова и дядей Е.Р. Дашковой. Затем здание, сдававшееся внаем (в нем жил английский купец Арчибальд Росс), ибо граф с 1778 года служил наместником в провинции, унаследовали его сыновья Артемий (кстати, крестный A.C. Пушкина) и Илларион.
В 1787 году столичная газета поместила такое объявление: «На Галерном дворе покрадены 14 числа минувшего декабря из дома под № 235 Еликотовые золотые часы с репетициею, с двойным золотым футляром <…> также унесена большая пуншевая гладкой работы серебряная чаша, на дне которой вырезаны литеры I.B.V. с принадлежащей к ней овальною ложкою, еще серебряный поднос, на котором вырезаны литеры Z.D.».
А.П. Волынский
Через два года двухэтажный особняк по семейному разделу перешел к Иллариону. Но тот спустя месяц продал его нарвскому купцу и маклеру Якову Ивановичу Овандеру (1744–1812), который переселился сюда из № 18 по набережной. В 1809 году, «королевско-датский придворный, живший у купца дантист М.С. Леви», рекомендовал себя «совершенно новым изобретением вставлять искусственные зубы посредством механических пружин, не привязывая оных к другим».
После кончины купца его дети владели домом до 1834 года, а затем в нем на целых 35 лет поселилась новая, богатая хозяйка – юная Елизавета Петровна (урожд. Балабина, 1813-?), совсем недавно вышедшая замуж за камер-юнкера князя В.Н. Репнина-Волконского, троюродного брата A.A. Олениной, которой был увлечен A.C. Пушкин. Княгиня заказала талантливому архитектору Г.А. Боссе переделать главный двухэтажный дом в модном «итальянском» стиле. Окна бельэтажа получили более сложное украшение, вход – портал, несущий балкон, на крыше появился треугольный фронтон. Вероятно, тогда же, в 1838–1841 годы, богато отделали шесть комнат второго этажа. Во дворе находился небольшой садик (ныне от него уцелело одно дерево).
В своем новом доме Репнина встречалась с Н.В. Гоголем, его сестры – Анна и Лиза некоторое время у нее жили. Здесь же жила золовка – Варвара Николаевна Репнина, фрейлина и поклонница писателя, оставившая о нем воспоминания. Она переписывалась также с Т.Г. Шевченко, тот ей посвятил поэму «Тризна», и, прожив долгую жизнь, сама много публиковалась.
Для следующей хозяйки – княгини Луизы Николаевны Долгоруковой, купившей дом в 1869 году, академик Ф.Л. Миллер в последующие два года слегка изменил в стиле эклектики фасад особняка с набережной и Галерной. Княгиня прожила в обновленном особняке всего пять лет до его продажи с аукциона купчихе Софье Гавриловне Голенищевой. Купчиха его немедля подарила своей дочери – Надежде Семеновне, в замужестве Вонлярлярской. Оценивался этот дар в 170 тыс. рублей. В апреле 1885 года брат Надежды – фабрикант и оптовик Владимир Семенович Голенищев за 250 тыс. руб. уступил дом барону Сергею Павловичу фон Дервизу (1863–1943), унаследовавшему от отца, железнодорожного