Особенно интересны две женские судьбы, причастные к этой семье: судьба дочери фельдмаршала Бориса Петровича Шереметева, графини Натальи Борисовны, жены князя Ивана Алексеевича Долгорукова, доблестно поехавшей за мужем в ссылку в эпоху гораздо более жестокую, чем времена декабристов, и кончившей жизнь схимонахиней Нектарией, и судьба крепостной актрисы Шереметевского театра Прасковьи Ивановны Жемчуговой, ставшей в 1801 году женою графа Николая Петровича Шереметева. Последний случай нашел несколько видоизмененное отражение в русской народной песне «Вечер поздно из лесочка» (крепостная девушка встречает барина, проезжающего в коляске – «две собачки впереди, два лакея позади». Барин ее останавливает, спрашивает, какого она села, и, в конце концов, женится на ней).
Линия Шереметевых, к которой принадлежал дядя Коля, была когда-то богата. Прадед его владел 35 тысячами десятин земли при селе Волочанове Волоколамского уезда, но состояние быстро таяло в руках расточительных владельцев. После блестящей и бурно проведенной молодости Борис Сергеевич вынужден был жениться по расчету на дочери богатого московского помещика Николая Павловича Шипова. Невеста оказалась сильно некрасива, и брак этот, несомненно, не мог считаться счастливым. Однако Ольга Николаевна, будучи очень религиозной и обладая покладистым, неунывающим характером, стойко переносила все невзгоды и с детской наивностью утешалась теми небольшими радостями, которые судьба посылала на ее долю. Старший сын Шереметевых, названный по традиции в честь деда с отцовской стороны Сергеем, умер маленьким. Второй сын, названный в честь дедушки Шипова Николаем, и был моим отчимом. За ним следовали братья Борис и Василий и сестра Дарья. Лучшие воспоминания детей Шереметевых были связаны с поместьем Волочановым, где семья проводила большую часть года до тех пор, пока именье в 80-х годах не было продано на покрытие карточных долгов. (Борис Сергеевич все вечера проводил в Английском клубе за игрой.)
Мальчики учились в Катковском лицее, но в учении не очень преуспевали. Лет с четырнадцати Николай так пристрастился к охоте и к театру, что эти склонности красной нитью прошли через всю его жизнь. В своих вкусах он был крайне демократичен и прост, так же как и в обхождении с людьми. Он ненавидел всякую неестественность, напыщенность, светскость. Друзьями его юности были Саша Обухов (Александр Трофимович), сын помощника отца по управлению Шереметевской больницей, и Саша Федотов (Александр Александрович), сын знаменитой артистки Гликерии Николаевны Федотовой.
Постоянные спектакли, в которых он участвовал, отвлекали его от учения, однако он сознавал, что без службы ему не обойтись,