Следующей владелицей дома стала жена И.-Л. Альбрехта Наталья Романовна. После ее смерти в 1761 г. дом достался ее племяннику Я. А. Брюсу, а Брюс продал его в 1762 г. Вилиму Вилимовичу Фермору. После смерти Фермора владелицей стала его жена Дарья Романовна, урожденная Брюс. А от нее в 1771 г. по наследству дом достался ее сыну гвардии Преображенского полка капитан-поручику Вилиму Вилимовичу Фермору-младшему. Фактически дом переходил из руки в руки близких родственников Альбрехтов, Брюсов и Ферморов. Кроме того, семейства Альбрехтов и Ферморов связывала и военная служба. Граф В. В. Фермор-старший и И. И. Альбрехт вместе служил, в один день они были награждены орденом Св. Александра Невского. В продолжение своей службы Фермор не раз менял поле деятельности. В 1740-х гг. ему было поручено произвести перепись и межевание в Ингерманландии, затем велено занять место умершего А. Л. Нарышкина в Канцелярии от строений, которая ведала возведением крупных казенных сооружений. Так, под наблюдением Фермора велось строительство на территории бывшего Смольного двора Воскресенского Новодевичьего монастыря по проекту архитектора Растрелли. Во время начавшейся в 1756 г. Семилетней войны генерал В. В. Фермор был главнокомандующим русскими войсками. В 1758 г. прусские войска у селения Цорндорф атаковали русскую армию, но не смогли ее разбить. Дальше действия русских войск развивались не столь успешно, и в 1759 г. непопулярного в армии «немца» Фермора сменил на посту главнокомандующего Петр Семенович Салтыков. Под командованием Салтыкова русские войска одержали победу над пруссаками при Кунерсдорфе, за что Салтыков получил звание фельдмаршала. Но было известно, что наследник трона – племянник императрицы Елизаветы будущий император Петр III – был поклонником прусского короля Фридриха II и не желал поражения Пруссии в войне, поэтому 1 августа 1760 г. Салтыков по болезни оставил войска, сдав команду снова В. В. Фермору, которого вскоре сменил А. В. Бутурлин.
В 1757 году здесь жил находившийся при российском дворе для отправления дел короля Франции Шевалье Дуглас. В 1761– 1762 г. «Санкт-Петербургские ведомости» объявляли о продаже в доме бывшего генерал-майора Альбрехта «виноградных вин, рейнвейну красного и белаго французского да заморского пивного уксусу» и других товаров.
В 1766 г. в Петербург приехал Этьен Фальконе, которого его друг Дидро рекомендовал Екатерине II для постройки памятника Петру I. Он поселился у французского купца Ивана Мишеля, интересовавшегося искусством, который в то время арендовал дом жены Фермора. Тогдашний искусствовед Я. Штелин пишет, что Фальконе поселился «на Адмиралтейском лугу» (противоположная сторона улицы только начинала застраиваться) в доме Альбрехта, называя имя умершего предыдущего владельца. Сам Фальконе писал, что он жил в доме Мишеля. Мишель в это время арендовал дом, а купил его только в 1770-е гг. Так и возникают исторические ошибки.
Вместе