Леопольда Гюго послали в Италию. Жозеф Бонапарт, мягкий человек, литератор, превратившийся против своей воли, но по воле знаменитого брата в полководца, получил приказ завоевать Неаполитанское королевство. Он знал майора Гюго, служившего под его началом в Люневиле, и благоволил к нему. В Париже министерство долго противилось какому бы то ни было продвижению офицера, скомпрометированного дружбой с Моро и Лагори. О муже, который жил где-то далеко и почти что в разводе с нею, Софи Гюго вспоминала лишь для того, чтобы попросить у него денег. Он с ворчаньем посылал ей половину своего жалованья, а когда его субсидии становились нерегулярными, Лагори, еще имевший тайные резервы, брал на себя заботу о семье.
Наконец Леопольду Гюго выпал случай отличиться. Захват Неаполя вызвал в горах Калабрии восстание bravi – полупатриотов-полуразбойников. Самый смелый из их вожаков, Микеле Пецца, по прозвищу Фра-Диаволо, скорее партизан, чем бандит, боролся с оккупантами и был после кровавой стычки взят майором в плен. Это создало Леопольду Гюго «огромную славу» и дало основание Жозефу Бонапарту назначить его губернатором провинции Авеллино, а также произвести его в полковники.
А положение Лагори в это время (1807 г.) ухудшилось. Его денежные средства истощились. Ощущение затравленности придавало его лицу напряженное выражение, челюсти его, «как у больного столбняком», все время судорожно сжимались. Всегда находясь в лихорадочном возбуждении, в тревоге, он жалел о тех днях, когда солдаты Свободы весело входили в баварские и тирольские города, и проклинал «тирана», которым был теперь уже не Людовик XVI, а император Наполеон. Когда Софи Гюго увидела, что ее другу нельзя больше появляться в Париже, где его подстерегает Фуше, что у нее скоро не будет денег для пропитания детей, она написала мужу, что готова послушаться его увещеваний и вернуться к нему. Однако он уже не хотел этого. «Я вовсе и не думаю требовать, чтобы ты приехала… Ты сама виновата, что у меня пропало желание жить совместно с тобой, тем более что я не имею прочного положения…» Нужда пишет свои законы. Софи не посчиталась с таким заявлением и в октябре 1807 года, не предупредив мужа, отправилась к нему в Италию.
Маленькому Виктору было тогда только пять лет, но он был очень впечатлительный и наблюдательный мальчик. Ему на всю жизнь запомнилось, как он ехал через всю Францию в дилижансе; запомнился перевал Мон-Сени и то,