Петр Андреевич Толстой был приближенным Петра I и нужды ни в чем не знал, а императрица Екатерина, признательная за то, что он проложил ей дорогу к трону, в день своей коронации, в мае 1724 года одарила его графским титулом. Но благодатные времена закончились и к власти пришел сын казненного изменника (царевича Алексея) Петр II, горящий желанием отомстить за отца. Толстого лишили всех титулов и состояния, а кнута и казни он избежал только в силу преклонного возраста (разменял девятый десяток). Но тем не менее на Соловки, в монастырь его сослали. Сын его, Иван, отправился вместе с ним и ушел в мир иной вместе с отцом. Умерли они в кандалах, кои запрещено было снимать даже во время службы в церкви.
Можно предположить, что на этом звезда ветви Толстых закатилась. К счастью, этого не произошло, и в 1760 году императрица Елизавета Петровна вернула графское звание внуку Петра Андреевича – Андрею Ивановичу, прадеду Льва Толстого.
Лев Толстой одно время пытался узнать, кто был первым графом Толстым. Он надеялся, что основоположником являлся Иван (сын Петра), святой, скончавшийся на Соловках. Но когда суть прояснилась, то Лев Николаевич искренне расстроился и потерял интерес к вопросу. Он был разочарован, перестал досаждать своими вопросами тетушке и прекратил переписку.
По воспоминаниям Льва Николаевича (как ему рассказывали родные) выходило, что Андрей Иванович женился очень рано на княжне Щетининой и отличался крайней сентиментальностью, скорее всего, в силу возраста и чувств. Например, как-то жена его уехала одна на бал, забыв с ним попрощаться, и когда вернулась, чтобы исправить оплошность, застала Андрея Толстого в слезах. Другими данными о предке Лев Толстой не располагал.
По отрывочным сведениям Лев Николаевич составил представление и о родителях своего отца.
Его бабушка, Пелагея Николаевна – дочь Николая Ивановича Горчакова, слепого князя, имевшего немалое состояние. Пелагея знала французский язык лучше русского, была весьма недалекой и не особо образованной, но зато избалованной особой. Сначала ее капризы выполнял отец, потом муж, ну и затем уже сын (отец Льва Николаевича).
Дед, Илья Андреевич, муж Пелагеи Николаевны, тоже был человеком ограниченным, мягким, безрассудно щедрым и очень доверчивым. В их имении беспрестанно шли пиры, балы, обеды, карточные игры. Дед много проигрывал и, кроме того, давал взаймы всем, кто просил, не требуя отдачи. Он влезал в какие-то аферы, махинации, в результате чего немалое имение жены было все в долгах. И чтобы разрешить ситуацию, Илья Андреевич выхлопотал себе место губернатора в Казани. Взяток на этом месте он не брал и даже сердился,