Княгиня, очевидно, перестроила особняк в стиле классицизма и устроила в 1804 году в корпусе на Галерной домовую с куполом церковь (в 1852 году помещение переделано), хотя пользовалась ею мало, поскольку большую часть времени проводила в Париже. В доме жили квартиранты, что видно из следующего газетного объявления: «Один приехавший из Франции молодой человек желает определиться здесь в дом или в деревню учителем французского и немецкого языков, а также арифметики, танцования и рисования…».
Иконы и утварь из церкви княгиня увезла с собой (позднее ее внучка графиня В.П. Шувалова-Полье разместила храм в особняке № 10 на набережной), когда в 1818 году была оформлена купчая на имя француженки Терезы Егоровны Парис, замужем за врачом. Не прошло и полутора лет, как Парис подарила дом своей дочери Варваре Осиповне Балабиной, переселившейся с мужем и детьми из Риги. Курьезная деталь – в 1825 году в доме продавались «в горшках ананасы».
Муж Балабиной – Петр Иванович (1776–1856) – отважный генерал, участвовал в Русско-шведской войне и в кампании против Наполеона. За храбрость в битве при Фридланде награжден солдатским Георгием и золотым оружием. В Петербурге служил в Корпусе жандармов. В доме генерала Н.В. Гоголь в 1831 году обучал его дочь Марию, читал «Записки сумасшедшего», стал другом семьи, где его очень любили, и переписывался с Варварой Осиповной – она увлекалась рисованием и музыкой.
Джеймс Уистлер. «Автопортрет» 1871–1873 гг.
С.П. Дервиз с женой. Фото 1890-х гг.
Осенью 1843 года квартиру в доме нанял американский инженер-путеец Джордж Уистлер, приглашенный за большой гонорар на постройку железной дороги Москва – Петербург. Он приехал с семьей, включая юного Джеймса (1834–1903), будущего известного художника, который через два года поступил «вольноприходящим» в
Императорскую Академию художеств. Закончить он ее не успел, так как весной 1849 года отец умер и мать решила вернуться на родину. Позднее Уистлер в Россию не приезжал.
Замужняя дочь Балабиных – княгиня Елизавета Петровна Репнина-Волконская, владела домом по соседству. Она и младший брат Петр приняли католичество, а Петр даже вступил в орден иезуитов. Семейный двухэтажный особняк их овдовевшая мать продала в 1868 году молодому купцу и австрийскому генконсулу Георгию Федоровичу Винекену (1834–1879), который, разбогатев, сделался банкиром и удостоился титула барона.
От вдовы барона здание перешло в 1884 году к Сергею Павловичу фон Дервизу,