Духовное происхождение деда проявилось в постоянном чтении книг религиозного содержания. Вообще же он собрал большую библиотеку, где было много и светской литературы. Внук вспоминает, что она размещалась в нескольких сундуках. Дед был знаком с Н. И. Новиковым, знаменитым издателем и масоном; когда при Екатерине II Новиков был арестован и посажен в Шлиссельбургскую крепость за свою масонскую и издательскую деятельность, дед натерпелся страху, сжег все книги, подаренные ему Новиковым; внук был уверен, что и сам дед был тоже масоном.
Внук, слабовольный, хаотичный, безалаберный, контрасту цельных и волевых личностей, и «кряжевая», как он выражался, натура деда, напоминавшая ему Багрова из автобиографических очерков С. Т. Аксакова, притягивала его к себе, он мысленно разговаривал с покойным дедом, которого никогда не видал, ибо он умер до рождения внука. Ап. Григорьев вспоминал, что, любя в молодости бродить по ночному городу, он специально ходил к церкви Великомученика Никиты, к первому пристанищу деда в Москве, садился на паперть часовни и разговаривал с дедом, чуть ли не реально надеясь на появление предка… По крайней мере, говорит внук, дважды, в самые трудные, переломные моменты жизни, дед являлся ему во сне.
К началу XIX века дед зажил вольготной жизнью видного московского чиновника-дворянина. Как деликатно писал внук, «он, как и все, вероятно, брал если не взятки, то добровольные поборы»… Купил во Владимирской губернии деревеньку с крепостными душами, в Москве купил дом с садом на Малой Дмитровке (теперешней улице Чехова). Ныне это участки домов № 25 и 27. Дом № 27, главный барский дом основательной каменной застройки, пережил московский пожар 1812 года, но конечно, весь выгорел внутри, и дед продал его остов. Дом и ныне существует.
Пошли дети. В 1788 году родился первенец Александр, будущий отец нашего Аполлона, в 1789-м – Екатерина, в 1800-м – Александра, в 1804-м – Николай. Детям, естественно, было дано хорошее образование. Александр учился в Благородном пансионе при Московском университете. Николай стал офицером. Менее известна жизнь дочерей. Кажется, они обе остались старыми девами, доживавшими свой век вместе с матерью в отцовской деревеньке. Лишь мельком вспоминал Ап. Григорьев о старшей, Екатерине