Генерал Лагори носил теперь пышные бакенбарды и причесывал волосы а-ля Титус. Объясняя своему другу Софи Гюго положение дел, он нарисовал картину далеко не утешительную. Лагори долго служил посредником между своим покровителем, генералом Моро, человеком нерешительным, и первым консулом, который не доверял бывшему командующему Рейнской армией, но еще щадил его. Бонапарт мог бы привлечь к себе Лагори, назначив его куда-нибудь послом. Он этого не сделал. Лагори повернул в другую сторону и сблизился с Моро, хотя и знал, что Моро – человек слабовольный. Первый консул отказался назначить Лагори командиром дивизии. Это означало – отставка в тридцать семь лет и несомненная опала. Лагори страдал, лицо у него пожелтело, блестящие глаза глубоко запали. Софи, воинственная по натуре, настаивала, чтобы он вступил в борьбу с первым консулом. Вокруг Моро увивались эмиссары Кадудаля и графа Артуа. Вандейка посоветовала прибегнуть к такому союзу – хотя бы для того, чтобы убрать Бонапарта. Совет неосторожный, но у Софи был напористый нрав и пылкое сердце.
Тем временем в Марселе маленький Виктор, прежде времени отнятый от груди, был доверен Клодине, жене отцовского денщика. Майор Гюго, возведенный в чин отца-кормильца, опекал трех своих сыновей, воспитывал их, как мог, и все заверял Софи в своей супружеской любви: «Я велел им поцеловать твое письмо и дал им от имени обожаемой мамы конфет… Хоть я и молод, а в этом городе царят соблазны, не бойся ничего… Ты увидишь меня достойным твоих целомудренных поцелуев…» Доверчивый супруг, терзаясь долгим отсутствием жены, старался успокоить себя. «Ни одна женщина не любит мужа сильнее, чем ты, я был бы очень несчастен, если бы тут ошибался…» Самый склад фразы доказывает, что у него имелись сомнения на этот счет. Первого января 1803 года он пишет своей Софи о детях: «Сегодня Абель пришел ко мне с поздравлением, а толстяк Эжен, стоя за ним, повторял его слова. Оба были такие забавные!.. Если ты предвидишь, что старания твои бесполезны, сократи время моего вдовства, возвращайся, чтоб утешить меня. Раз уж нельзя отвратить беду, я буду менее несчастным, если буду царить над тобой…»
В июне 1803 года Виктор, которому было тогда шестнадцать месяцев, потребовал, по словам майора, свою «мам-ма». А на самом-то деле он совсем ее не знал. Госпожа Гюго была тогда в замке Сен-Жюст, близ Вернона, в обществе Лагори, попавшего в немилость. «Клуб Моро» продолжал открыто поносить Бонапарта, и тот покарал смельчаков. Несмотря на ходатайства Софи перед Жозефом Бонапартом, майора Гюго послали на Корсику. С тремя маленькими детьми он отплыл на корабле в Бастию, старинный город с высокими угрюмыми домами. «Возвратись, моя дорогая Софи, в объятия твоего