У Афанасия Николаевича был только единственный сын, в котором он и жена его души не чаяли. Высокий, стройный, с классически правильными чертами лица, богато одаренный природой, он рос им на радость, окруженный самыми нежными заботами. По повелению императрицы Екатерины, с самого рождения он был зачислен капралом в Конный полк, но эта высокая, по тогдашним понятиям, милость не пришлась по вкусу его матери. Она находила, что единственный наследник крупного майората не может подвергаться тягостям и лишениям, нераздельным с военной службой.
Тщетно рвался Николай Афанасьевич к улыбавшейся ему карьере: мать оставалась непреклонна, и это взбалмошное сопротивление оставило горький след во всей его жизни. Но взамен она приложила все старания, чтобы его домашнее образование было на уровне самых высоких требований того времени. Лучшим доказательством может послужить выдающаяся роль на государственном поприще, выпавшая на долю юных товарищей Гончарова, взятых ею в дом с целью доставить постоянное общество одиноко растущему мальчику. Это были дети многосемейных, бедных помещиков-соседей, выросшие под гостеприимным кровом, разделявшие как занятия, так и забавы юного наследника, определенные потом его родителями на службу, ими избранную.
Один, Чернышев, поступил в Конный полк, оказавшийся запертым для Николая Афанасьевича. Здесь Чернышев вскоре сумел выделиться умом, ловкостью, образованием и впоследствии обратил на себя внимание императора Александра, прославившись удачной миссией в Париже. Он дослужился до поста военного министра, награжден был княжеским титулом и умер в преклонных годах, достигнув зенита почестей и богатства.
Другой, Бутенев, поступил в иностранную коллегию, где сумели оценить его способности; шаг за шагом восходил он по дипломатическим ступеням и достиг посланнического поста.
И по мере того, как восходила звезда гончаровских воспитанников, все тускнела злосчастная жизнь их единственного сына. В кратких просветлениях рассудка, Николай Афанасьевич отдавал себе отчет о превратности судьбы, постигшей трех друзей. Самым близким человеком был для него Чернышев, но, выбившись на блестящий путь, его товарищ детства задался целью забыть скромность своего происхождения и изгладил из памяти все, чем был обязан Гончаровым. Не довольствуясь тем, что давно прервал с ними всякие отношения, он, в течение долгих лет, встречался постоянно с Натальей Николаевной