Дела по управлению имениями шли хорошо, и семья жила счастливо – до тех пор, пока в 1812 году не вернулся из-за границы Афанасий Николаевич. Он сам взялся за дела и, как уже говорилось ранее, продолжал последовательно разорять семью. Через два года Николай Афанасьевич упал с лошади, сильно расшибся и с тех пор стал постепенно сходить с ума – пока в 1823 году окончательно не впал в буйное помешательство. Его пришлось держать дома, взаперти. Все заботы о семье легли на Наталью Ивановну. Тяжелая обстановка в доме чрезвычайно испортила ее характер. Дочерей она держала в абсолютном повиновении, всячески их притесняла, а сама все больше опускалась: как писал Пушкин, «она целый день пьет и со всеми лакеями живет». Тем не менее ей успешно удавалось вести дела семьи – что удивительно, особенно учитывая крайне бедственное материальное положение, в котором пребывали Гончаровы. Все дети получили прекрасное воспитание и отличались хорошим характером: были искренни, милы, доброжелательны, хорошо разбирались в искусстве – особенно Александрина и Наталия, которая даже писала стихи. Наталия, или Таша, как ее называли родные, была настоящим кумиром семьи – самая красивая из детей. Семья возлагала на нее большие надежды: ее выгодный брак мог поправить расстроившиеся дела Гончаровых. Несомненная красота – правильные черты лица, тончайшая (43 сантиметра!) талия и прекрасная фигура – освещалась тем не поддающимся описанию качеством, которое современники называли «поэтичностью», «чистейшей прелестью» и «несомненным очарованием». Отличительными чертами ее характера были предельная правдивость и искренность, чуткое сердце и огромная доброта. Болезненно скромная, мягкая, умная, сдержанная, кроткая, она с детства привыкла находиться в чужой воле, была податлива на чужое влияние и не выносила бурных проявлений эмоций. В своей юношеской тетради она записала как один из главных своих принципов: «Никогда никому не отказывать в просьбе, если только не противна она твоему понятию о Долге. Старайся до последней крайности не верить злу или что кто-нибудь желает тебе зла. Не осуждай никогда никого ни голословно, ни мысленно, а старайся найти если не оправдание, то хотя бы хорошие стороны, вызывающие жалость».
Таша обладала огромным тактом, была очень уравновешенна и выглядела даже холодной. Именно из-за кажущейся холодности у Наталии, когда она стала выезжать, не было страстных поклонников – хотя она и вызвала в свете фурор своей редкостной красотой. Ее сразу признали одной из первых красавиц Москвы – вместе с Александрой Алябьевой, в замужестве Киреевой. Алябьеву называли образцом классической красоты, в то время как Гончарова была