Вскоре отец его предпринял экспедицию против знаменитого калабрийского «Фра Дьяволо», окончившуюся поимкою этого легендарного разбойника, перешедшего впоследствии в область оперных либретто. Затем генерала Гюго назначили командиром полка «Рояль-Коре» и губернатором Авеллино. Он уже два года находился в разлуке со своими домашними и тотчас призвал их к себе. Но только-только семья успела устроиться на новом месте, как Жозеф Бонапарт перешел в Испанию, и генерал Гюго должен был последовать за ним. Мать и дети вернулись в Париж и поселились здесь в Фейльянтинском переулке.
Дом, где они жили, остался навсегда в памяти Виктора Гюго. Обширная квартира семьи была на первом этаже, в глубине двора, отделенного от улицы красивою чугунною решеткою; из большой и очень высокой гостиной балкон вел в сад, полный цветов, любимых г-жою Гюго. Налево к саду примыкал большой пустырь, где были глубокие ямы, кучи мусора и высохший бассейн, на дне которого маленький Виктор устраивал западни для тритонов.
Вот как поэт в 1875 году описывает свое жилище и жизнь семьи в нем:
«В начале этого столетия маленький мальчик жил в большом уединенном доме, окруженном обширным садом, среди одного из самых пустынных кварталов Парижа. Этот дом до революции назывался Фейльянтинским монастырем. Ребенок жил там с матерью, двумя братьями и старым священником, дрожавшим при воспоминании о девяносто третьем годе; это был почтенный старец, некогда подвергавшийся преследованиям и теперь снисходительный; он учил детей – много по-латыни, немного по-гречески – и ничего не говорил им об истории. В глубине сада росли очень высокие деревья, среди них пряталась старинная, полуразрушенная часовня. Детям было запрещено ходить так далеко. В настоящее время эти деревья, эта часовня и этот дом исчезли. Улучшения, свирепствовавшие в Люксембургском саду, дошли до Валь-де-Граса и уничтожили этот скромный оазис – там проходит теперь большая, довольно бесполезная улица. От Фейльянтинского монастыря осталось немножко травы, да часть стены с обвалившейся штукатуркой, еще виднеющаяся между двумя новыми постройками... На все это стоит смотреть только глубоким взором воспоминаний. В январе 1871 года прусская бомба упала в этот уголок, продолжая улучшения, и г-н Бисмарк окончил то, что было начато Гаусманном.
В этом доме росли во время Первой империи три маленьких брата. Они играли и трудились вместе, начиная жить, не зная будущности, наслаждаясь весною жизни и природы, полные внимания к книгам, к деревьям, к облакам, прислушиваясь к щебетливым хорам птиц, под наблюдением нежной материнской улыбки. Бог да благословит тебя, матушка!
На стенах сада, среди полусгнившего и обвалившегося шпалерника, виднелись