В своих воспоминаниях Лев Николаевич рассказывает нам о своем деде со стороны матери следующее:
«Про деда я знаю то, что, достигнув высоких чинов генерал-аншефа при Екатерине, он вдруг потерял свое положение вследствие отказа жениться на племяннице и любовнице Потемкина Вареньке Энгельгардт. На предложение Потемкина он отвечал: «С чего он взял, чтобы я женился на его б…»
За этот ответ он не только остановился в своей служебной карьере, но был назначен воеводой в Архангельск, где пробыл, кажется, до воцарения императора Павла, когда вышел в отставку и, женившись на княжне Екатерине Дмитриевне Трубецкой, поселился в полученном от своего отца Сергея Федоровича имении Ясной Поляне.
Княгиня Екатерина Дмитриевна рано умерла, оставив моему деду единственную дочь Марию. С этой-то сильно любимой дочерью и ее компаньонкой-француженкой и прожил мой дед до своей смерти, около 1821 года. Дед мой считался очень строгим хозяином, но я никогда не слыхал рассказов об его жестокостях и наказаниях, столь обычных в то время. Я думаю, что они были, но восторженное уважение к его важности и разумности было так велико в дворовых и крестьянах его времени, которых я часто расспрашивал про него, что, хотя я и слышал осуждения моего отца, я слышал только похвалы уму, хозяйственности и заботе о крестьянах и в особенности об огромной дворне моего деда. Он построил прекрасные помещения для дворовых и заботился о том, чтобы они были всегда не только сыты, но и хорошо одеты и веселились бы. По праздникам он устраивал для них увеселения, качели, хороводы.
Еще более он заботился, как всякий умный помещик того времени, о благосостоянии крестьян, и они благоденствовали, тем более, что высокое положение деда, внушая уважение становым, исправникам и заседателю, избавляло их от притеснения начальства.
Вероятно, у него было очень тонкое эстетическое чувство. Все его постройки не только прочны и удобны, но чрезвычайно изящны. Таков же разбитый им парк перед домом. Вероятно, он также очень любил музыку, потому что только для себя и для матери держал свой хороший небольшой оркестр. Я еще застал огромный, в три обхвата вяз, росший в клину липовой аллеи, и вокруг которого были сделаны скамьи и пюпитры для музыкантов. По утрам он гулял по аллее, слушая музыку. Охоты он терпеть не мог, а любил цветы и оранжерейные растения.
Странная судьба и самым странным образом свела его с той самой Варенькой Энгельгардт, за отказ от которой он пострадал во время своей службы. Варенька эта вышла за князя Сергея Федоровича Голицына, получившего вследствие этого всякого рода чины, ордена и награды. С этим-то Сергеем Федоровичем и его семьей, следовательно и с Варварой Васильевной, сблизился мой дед до такой степени, что мать моя была с детства обручена одному из десяти сыновей Голицына, и оба старые князья