Весной 1812 года Ивану исполнилось тринадцать лет. Несмотря на сильные морозы, сын Захара бегал чуть ли не в одной рубашке. Но стоило только озябнуть или почувствовать иное недомогание, он тут же забирался погреться на печку. Так обыденно, монотонно проходило детство Ивана. Драки с мальчишками, помощь по хозяйству, лежание на печи. Закалялся организм – закалялся характер.
Великолепный двухэтажный дом князя находился в западной части Москвы. В собственности дворянина за городом в усадьбе было около пяти тысяч десятин земли, на которой трудилось до двухсот крепостных. Подобное хозяйство в те времена считалось средним по богатству, поэтому князь Юсупов позволял тем крестьянам, которые не были прикреплены к земле, жить с ним в городе и работать в ремесленных мастерских, чем и занимался Захар
Гончаров.
В начале сентября, вечером, усталый Захар вернулся домой и сообщил о слухах, которые ходили по городу. Люди говорили, что французы уже в Смоленске и совсем скоро могут оказаться в Москве. По некоторым уездам прокатилась волна крепостных бунтов. В народе многие искренне верили, что с приходом Наполеона в Россию крепостное право будет уже упразднено. Крепостные крестьяне, наконец, получат долгожданную свободу. А в середине сентября дворяне и прочие жители города Москвы в спешке начали покидать город.
Князь Юсупов, заботясь о своей семье, также решил перебраться подальше от надвигающейся опасности, в свою роскошную усадьбу в Подмосковье. Собрав все самое необходимое, он взял с собой и большую часть дворовых крестьян. Но незначительную часть крепостных Юсупов все же оставил в доме, чтобы они присматривали за хозяйством и охраняли дом от грабежей. В числе оставшихся была и семья Захара Гончарова.
На следующий день не только во дворе Юсуповых, но и по всей Москве творилась суматоха. Лакеи в спешке укладывали громоздкие тюки на повозки. Породистым лошадям из конюшни Юсуповых, таким образом, выпала нелёгкая доля. Конюх жестами что-то объяснял хмурому извозчику, тот молча кивал головой. Собаки, словно понимая, что происходит что-то неладное, заунывно скулили, не находя себе места. Молодые крестьянки со слезами на глазах умоляли хозяйку дома забрать их с детьми и не бросать на произвол судьбы. Но хозяева были неумолимы. Князь стоял неподалёку, заложив руки за спину и беспристрастно наблюдал за происходящими событиями.