К тому времени давно начавшийся разлад между родителями Николая Афанасьевича достиг решающей фазы: они разъехались. Хотя дела Афанасия Николаевича уже сильно пришли в упадок, он не оставлял своих привычек и продолжал вести расточительную жизнь. Надежда Платоновна долго сдерживала сумасбродства своего супруга, но в конце концов не выдержала: в 1808 году уехала с Полотняного Завода и поселилась в собственном доме в Москве. Впоследствии Афанасий Николаевич выделил ей отдельный капитал в 200 тысяч рублей и таким образом навсегда отделался от мешавшей ему жены.
Вскоре Афанасий Николаевич уехал надолго «жуировать» за границу, оставив сыну доверенность на управление всеми предприятиями. Николай Афанасьевич, видимо обладавший энергией и деловитостью своего прадеда, сумел за время отсутствия отца значительно поправить дела, высылая Афанасию Николаевичу большие суммы и тем удерживая его за границей. В 1811 году он был награжден орденом Владимира IV степени «за приведение к должному устройству и усовершенствованию состоящие в Калужской губернии фабрики полотняной и писчей бумаги».
Но тут грянула война 1812 года. Французы близко подошли к гончаровским владениям. В Полотняном Заводе некоторое время стоял со своим штабом сам фельдмаршал Кутузов. Комнаты, в которых он жил, потом назывались «кутузовскими». Неприятель до Полотняного Завода не дошел, а при отступлении под Малоярославцем наполеоновские войска были наголову разбиты.
Афанасий Николаевич в самом начале войны сумел пробраться через границу и вернулся в Завод. И не один. Он привез с собой любовницу – madam Babette, тем самым чрезвычайно осложнив семейные отношения.
Семья Гончаровых пробыла в Кариане до августа 1813 года, но Николай Афанасьевич за это время неоднократно бывал в Полотняном Заводе, учитывая необходимость возобновить работы на фабриках. Видимо, в 1813 и 1814 годах отец и сын ведали делами совместно, во всяком случае имеются документы за эти годы, подписанные ими обоими. Николай Афанасьевич ездит по поручениям отца в Калугу, Москву и Петербург.
К детям нанимаются иностранные гувернеры и гувернантки, учителя музыки. В одном из писем Николай Афанасьевич передает им приветы, сообщает Наталье Ивановне, что послал в Завод настройщика. «Друг мой Ташок» называет он жену…
Но атмосфера в доме складывается нетерпимая. Старик требует оказывать все знаки внимания мадам Бабетт (которую домашние звали «парижской прачкой») как хозяйке дома. Несомненно, Николай Афанасьевич пытался удержать отца от бесхозяйственности и расточительства, но безуспешно. В начале 1815 года Афанасий Николаевич совсем отстраняет сына от управления делами, стремясь бесконтрольно распоряжаться доходами.
Молодые Гончаровы переезжают