Здание много раз переходило из рук в руки. Так в конце XVIII века его приобрёл адмирал Григорий Григорьевич Кушелев, командовавший «гатчинской флотилией» у цесаревича Павла Петровича, а потом и всем российским флотом, когда цесаревич стал императором Павлом I. Кушелев владел домом более 30 лет, после чего продал его министру финансов, графу Егору Францевичу Канкрину.
Канкрин находился на посту министра финансов 20 лет. Ему принадлежит высказывание, не утратившее актуальности и сегодня: «… разоряются не от капитальных расходов, а от повседневных мелочных издержек, ибо первые делаются не вдруг, а по зрелом размышлении, тогда как на вторые не обращаешь внимание». Когда в 1840 году Егор Францевич запросился в отставку, Николай I ответил: «Ты знаешь, что нас двое, которые не можем оставить своих постов, пока живы: ты и я».
В 1903 году для старшего сына Дмитрия дом приобрёл граф Александр Дмитриевич Шереметев, владелец соседнего особняка.
В советское время в здании долгое время работало издательство детской литературы «Детгиз».
Рядом с бывшим домом Шереметева возвышается пятиэтажный дом под номером 8 в неоклассическом стиле. В тимпане фронтона можно разглядеть изображение ангелицы в окружение звёзд. Это фамильный герб последнего владельца, тайного советника Георгия Михайловича Петрова, для которого в 1912 году существовавший трехэтажный особняк перестроил гражданский инженер Николай Леонидович Захаров. Георгий Михайлович Петров был почетным опекуном и попечителем сиротского института и убежища на Малой Охте, носившего имя его родителей, Михаила и Елизаветы Петровых.
Наб. Кутузова, 8
Первое строение на «пустопорожнем» участке появилось в 1775 году, а в 1783 году его приобрела фрейлина Екатерины II Анна Степановна Протасова, приходившаяся двоюродной племянницей братьям Орловым, которые, как известно, стояли во главе гвардейского дворцового переворота, приведшего Екатерину на трон. Анна Степановна пользовалась постоянной благосклонностью императрицы, не разлучаясь с ней даже во время путешествий. Злые языки приписывали ей роль «дегустатора» потенциальных фаворитов при том, что Анна Степановна обладала малопривлекательной наружностью и сварливым характером.
В 1805 году Протасова продала дом вице-адмиралу Павлу Васильевичу Чичагову, сыну известного адмирала, героя русско-шведской войны 1788–1790 годов, увековеченного в числе других приближенных на памятнике Екатерине II в сквере перед Александринским театром. Получив в 1807 году чин адмирала и пост министра морских сил, Павел Васильевич увеличил флот, построил новые эллинги, постоянно следил за развитием техники и усовершенствованием морской тактики.
С 1818 года более 50-и лет особняком владели князья Долгоруковы, а в 1871-м дом перешёл их зятю – Николаю Владимировичу Воейкову, генералу от кавалерии