Анна Федоровна не жила в отцовском доме, его снимало дворцовое ведомство, и здесь размещались камер-юнгферы императрицы Елизаветы и другие придворные служители, а также дежурившие при дворе офицеры. Этот дом упоминает в своих воспоминаниях будущая императрица Екатерина II, жившая в деревянном Зимнем дворце, который занимал, как она пишет, «весь квартал до места, находившегося против дома графини Матюшкиной, который принадлежал тогда Наумову. Мои окна были против этого дома, занятого фрейлинами». Существует предание, что здесь жил в 1759 г. и Григорий Орлов и из окон своих комнат в деревянном Зимнем дворце великая княгиня Екатерина Алексеевна обратила на него внимание. Как писал французский дипломат М. Д. Б. де Корберон, служивший в посольстве, после вступления на престол Петра III и Екатерины II всем придворным было приказано из этого дома выехать, а не подчинившимся велено было «не отпускать еду и питье».
2 сентября 1766 г. Анна Федоровна Белосельская продала дом «Ея Императорского Величества камер-юнкеру и лейб-гвардии Измайловского полку подпорутчику графу Володимиру Григорьевичу Орлову» за 14 тысяч рублей. В. Г. Орлов, младший из братьев Орловых, – первый директор Академии наук с 1766 г., свою придворную карьеру начавший с чина камер-юнкера, затем, в 1770 г. пожалован в камергеры и закончивший свою службу в чине генерал-поручика.
Перед своим путешествием по России Орлов в 1769 г., продал дом графине Анне Алексеевне Матюшкиной (1722–1804). Она была дочерью князя Алексея Матвеевича Гагарина и баронессы Анны Петровны Шафировой, дочери сподвижника Петра I вице-канцлера Петра Павловича Шафирова. После смерти от горячки своей старшей сестры она заняла ее место фрейлины при императрице Елизавете. Рассказывая в своих записках о событиях 1750– 1751 гг. будущая императрица Екатерина II вспоминает о княжне Гагариной: «Она была уже не первой молодости и хотела сыскать себе партию по вкусу. Она сама имела хорошее состояние, но была нехороша собою, хотя очень умна и уклончива. Ей приходилось во второй раз отказываться от своего предмета в пользу императрицы: сначала от Шувалова, теперь от Бекетова». Сама Екатерина Алексеевна была в это время увлечена Захаром Чернышевым и обменивалась с ним любезными записками через Гагарину, которая, как пишет Екатерина, «…наконец заметила, в чем дело, бранила меня, что я делаю ее посредницею и больше не согласилась переносить девизы». В 1754 г., считавшаяся уже сильно немолодой (ей было 32 года), Анна Алексеевна вышла замуж за молодого красавца Дмитрия Михайловича Матюшкина (1725–1800), который был моложе ее на 3 г. Сама императрица Елизавета уговорила мать Матюшкина дать согласие на этот брак. Благоволили к Анне Алексеевне впоследствии и Екатерина II и Павел, который в день своей коронации наградил ее орденом Св. Екатерины I-й степени и подарил ей для ношения в парадных случаях портреты – свой и своей супруги Марии Федоровны. Муж Анны Алексеевны Дмитрий Михайлович