Художник И.П. Аргунов. Граф Петр Борисович Шереметев
Однако счастливый петербургский период его жизни оборвался в связи с драматическими событиями в семье. 2 октября 1767 года на 57-м году жизни скончалась его супруга графиня Варвара Алексеевна, с которой они счастливо прожили почти четверть века.
Художник И.П. Аргунов. Графиня Варвара Алексеевна Шереметева
Графиню Варвару Алексеевну погребли в Москве в Новоспасском монастыре, где похоронены ее предки. Надгробные надписи в то время были весьма пространными, и по ним можно проследить основные вехи жизненного пути человека. На ее могиле начертано: «На сем месте покоится тело графини Варвары Алексеевны Шереметевой, супруги графа Петра Борисовича Шереметева, дщери великого канцлера Алексия Михайловича Черкасского и княгини Марьи Юрьевны, родившейся в 1711 году сентября 11, при императрице Анне Иоанновне она была почтена достоинством фрейлины, при императрице Елисавете Петровне камер-фрейлиною и статс-дамою, с возложением портрета государыни императрицы. Браком сочеталась 1743 года 28 генваря. Скончалась 1767 года 2 октября, прожив от роду 56 лет и 22 дня».
Ее смерть была отмечена публикацией в Москве стихотворного произведения в характерном для того времени жанре: «Ода на кончину ея сиятельства действительной ея императорского величества штатс-дамы графини Варвары Алексеевны Шереметевой, урожденной княжны Черкасской, последовавшей на 57 году от ея рождения октября во 2 день, 1767 года в Москве, где и тело ея сиятельства погребено в Новоспасском монастыре, того ж октября 5 дня, сочиненная переводчиком Васильем Рубаном».
Череда смертей близких людей обрушилась в те годы на графа Петра Борисовича. В январе 1768 года скончался его младший брат Сергей, который жил в Москве.
17 мая 1768 года в Петербурге умерла от черной оспы старшая дочь, графиня Анна Петровна, фрейлина императрицы, считавшаяся одной из первых красавиц при дворе. За три месяца до смерти, в феврале, она обручилась с графом Никитой Ивановичем Паниным, воспитателем наследника престола Павла Петровича. В городе ходили слухи, что в действительности смерть ее подстроили завистники. Эти слухи в обществе жили столь устойчиво, что дошли до нас в воспоминаниях графини Антонины Дмитриевны Блудовой, писанных в 1880-х годах, спустя более века после тех событий.
Художник И.П. Аргунов. Графиня Анна