Афанасий Николаевич был женат на Надежде Платоновне Мусиной-Пушкиной (1765–1835). У них был только один сын Николай, в котором они души не чаяли. Николай Афанасьевич (1788–1861) обладал незаурядными способностями: писал стихи, играл на скрипке и виолончели. Унаследовал он от прадеда и его энергию и деловитость. Образование по тем временам он получил блестящее. Николай Афанасьевич в совершенстве знал немецкий, английский и французский языки. Небезынтересно отметить, что среди французов-гувернеров был и Будри, родной брат Марата, впоследствии учитель французского языка в Царскосельском лицее во времена Пушкина. Надо сказать, что Николай Афанасьевич, не в пример прочим Гончаровым, хорошо знал русский язык. Обычно он писал старшему сыну по-русски, изредка переходя на французский или английский языки.
В 1804 году Николай Гончаров был зачислен в Коллегию иностранных дел и переехал в Петербург.
Прекрасно образованному и одаренному умом и талантами молодому Гончарову были открыты двери всех великосветских гостиных. Там он встретился с красавицей-фрейлиной Натальей Ивановной Загряжской, без памяти влюбился и 27 января 1807 года обвенчался с ней в Петербурге в придворной церкви.
Наталья Ивановна Гончарова (1785–1848) происходила из старинного дворянского рода Загряжских. Отец ее, Иван Александрович Загряжский (ум. в 1807 г.), богатый помещик, служил в Петербурге в гвардии; он был женат на А. С. Алексеевой, от которой имел троих детей. По семейным преданиям, когда однажды полк его стоял в Дерпте, он там влюбился в дочь барона Липгардта, при живой жене обвенчался с ней и привез уже с ребенком к первой жене в свое поместье! Вряд ли это достоверно, но, так или иначе, от этого брака или связи родилась Наталья Ивановна, будущая мать Н. Н. Пушкиной12. Молодая баронесса вскоре умерла, а жена Загряжского приняла девочку в свою семью, ничем не отличала от своих детей и впоследствии наравне с остальными оставила ей наследство.
Вскоре после женитьбы Н. А. Гончаров оставляет Петербург и переводится на службу в Москву. Вероятно, это было вызвано необходимостью быть поближе к Полотняному Заводу.
К тому времени давно начавшийся разлад между родителями Николая Афанасьевича достиг решающей фазы: они разъехались. Хотя дела Афанасия Николаевича уже сильно пришли в упадок, однако он не оставлял своих привычек и продолжал вести расточительную жизнь. Надежда Платоновна долго сдерживала сумасбродства своего супруга, но, в конце концов, не выдержала и в 1808 году уехала с Полотняного Завода и поселилась в собственном доме в Москве. Впоследствии Афанасий Николаевич выделил ей отдельный капитал в 200 тысяч рублей и таким образом навсегда отделался от мешавшей ему жены.
Расставшись с женой, Афанасий Николаевич уехал надолго за границу, и молодой Николай Афанасьевич за несколько лет сумел значительно поправить расстроенные отцом дела. В 1812 году, когда началась