Дерзкий нарушитель дворянских устоев, Николай Петрович Шереметев первым и единственным из екатерининских дворян отважился назвать женой крепостную актрису. Плодом страстной любви графа Николая и Прасковьи Жемчуговой стал граф Дмитрий Николаевич Шереметев (1803–1871), прославивший род широкой благотворительностью, подобно отцу.
По замечанию поэта Жуковского, правнук первого русского фельдмаршала являлся «примером добрых дел для современников и памятью добрых дел для потомков». Знаменитый писатель Карамзин вспоминал, как «всегда с неизменным удовольствием» смотрел и слушал своего ученика Дмитрия Шереметева.
Согласно старинной традиции мужчины семейства Шереметевых начинали карьеру в Кавалергардском полку, куда Дмитрий поступил в 1823 году. Его молодость прошла в кругу шумных гвардейцев, по обыкновению проводивших вечера на балах, пирушках, волочившихся за дамами полусвета, к которым, помимо легкомысленных кокеток, относили актрис Императорских театров. Одно время граф увлекался балериной Истоминой настолько сильно, что товарищам пришлось удерживать его от женитьбы. Единственный наследник огромного состояния, красивый и статный юноша, он мог бы составить счастье дочери Александра I, но, выслушав лестные предложения, «решительно уклонился».
Предложение о замужестве получила фрейлина императрицы Александры Фёдоровны, очаровавшая Ф. И. Тютчева красотой и отменными музыкальными способностями. Поклонников привлекала не только прекрасная внешность девушки, но и совершенные человеческие качества, определившие ей репутацию «лучшего из существ; безусловно правдивой и так же искренне приветливой». После венчания супруге Дмитрия Николаевича не пришлось менять фамилию, так как она приходилась ему дальней родственницей. Следуя родовым традициям, Анна Сергеевна Шереметева долго жила за границей, получила хорошее образование, исконно склонявшееся в сторону театра. Доподлинно известно, что она училась музыке у Шопена и великий композитор посвятил ей «Листок из альбома».
После женитьбы граф оставил военную службу, заняв должность коллежского советника в Министерстве внутренних дел. Повторяя судьбу предков, Д. Шереметев обрел чин камергера при Николае I, приступив к обязанностям гофмейстера при Александре II. Граф Шереметев посвятил свою жизнь служению родине в качестве благодетеля и мецената.
Начиная с 1824 года и до самой смерти граф Дмитрий являлся попечителем