В архиве хранится большое количество писем Николая Афанасьевича. Письма эти, написанные в последние десятилетия его жизни к сыну Дмитрию Николаевичу, вполне разумны. Николай Афанасьевич прекрасно сознает свое положение в семье, тяготится им. Наталья Ивановна фактически бросила его, в начале 30-х годов совсем переселившись в Ярополец4, Николай Афанасьевич жил в Москве сначала один, а потом с сыном Сергеем. Единственным человеком, заботившимся о нем, была жена сына Дмитрия Елизавета Егоровна. Николай Афанасьевич платил ей глубокой, искренней привязанностью.
Письма его свидетельствуют о его большой доброте и отзывчивости. Не имея возможности никому помогать материально, он старается хотя бы морально поддержать и утешить своих близких в трудные минуты жизни. Несомненно, от него унаследовала Наталья Николаевна свою доброту и душевную щедрость.
В Москве Гончаровы жили в собственном доме на Б. Никитской улице (теперь ул. Герцена, 50; дом не сохранился). Большая усадьба с многочисленными флигелями и хозяйственными постройками занимала целый квартал между Большой и Малой Никитскими и Скарятинским переулком. Вероятно, как тогда было принято, при доме был и сад. В старом флигеле, с провалившимися полами и дымящими печами, со своим слугою жил больной Николай Афанасьевич. Тень этого несчастья лежала на всем никитском доме…
Наталье Ивановне в 1814 году было всего 29 лет. На плечи молодой женщины легла вся тяжесть забот о больном муже, о доме и воспитании детей. Нет сомнения, что горе наложило отпечаток на ее характер – она ожесточилась, а с годами опустилась, стала пить… Суровая и властная, неуравновешенная и несдержанная – такой рисуется она по письмам и свидетельствам современников. Впоследствии, ища утешения в религии, Наталья Ивановна превратилась в настоящую ханжу, окружила себя монахинями и странницами, целые дни проводила в домашней молельне. Под старость, живя почти постоянно у себя в Яропольце, она часто ездила на богомолье в местный Волоколамский монастырь, делала туда богатые вклады «на спасение души». В этом монастыре она и похоронена.
Наталья Ивановна получала достаточные средства на содержание семьи от свекра Афанасия Николаевича: 40 тысяч в год. Таким образом, казалось бы, семья была обеспечена. Но Наталья Ивановна бережливостью не отличалась и безрассудно тратила все, что получала. У Гончаровых было семеро детей: три сына – Дмитрий5, Иван6 и Сергей7 и четыре дочери – Екатерина8, Александра9, Наталья10, будущая жена поэта, и Софья, родившаяся в 1818 году и вскоре умершая.
Детей Наталья Ивановна воспитывала строго. Говорят, она иногда била их по щекам. Если какую-нибудь из дочерей требовали к матери, девочка долго стояла у дверей, не решаясь войти… До сих пор принято было считать, что Наталья Николаевна и ее сестры получили очень скромное домашнее образование. Знание французского языка, танцы, музыка и регулярное посещение церковных служб – этим обычно тогда ограничивалось