Надо было как-то выживать, и молодая чета купила небольшую ферму рядом с Олбани. Люси очень понравилось в Америке – она не боялась никакой работы. В уходе по дому ей помогала чернокожая рабыня, но она сама ухаживала за скотом, пряла лен, пеньку и взбивала масло от восьми коров, которое затем продавала на рынке. Она приспособилась к крестьянской одежде: «синяя юбка в черную полоску из льна, короткая рубашка из хлопка, цветной платок, волосы, разделенные на пробор и забранные гребнем…» Совершенно не похоже на шелковый белый наряд, с украшениями из серебра и бриллиантов, в котором Люси не так давно делала реверансы перед королем и королевой!
Такая жизнь ей была по душе. Новости из Франции они получали от приезжавших друзей: господина де Талейрана и других.
Став образцовой фермершей, Люси совершенно не скучала по Франции. И когда в начале 1796 года они получили письмо с приглашением восстановить права на свое имущество, потому что не были включены в список эмигрантов, Люси покидала свою ферму с великим сожалением. С еще большей тоской она оставила в американской земле свою маленькую дочку Стефани, унесенную тяжелой болезнью. Однако супруги все же уехали, 6 мая… и Люси так и не смогла заставить себя не вспоминать о своей ферме.
Осенью они вернулись в Буиль. Но в каком состоянии находился их замок! Все было разграблено и опустошено:
«Я оставила этот замок с огромным количеством мебели, а теперь там нет ни одного предмета изящной обстановки. Раньше были удобства и хватало всего. А теперь я обнаружила замок абсолютно пустым: не было ни стула, чтобы присесть, ни стола, ни кровати…» Не было ничего! И пришлось все начинать заново, но фермерше из Олбани было не привыкать.
Замок снова переродился, потому что Люси не могла жить в «пустыне» или «берлоге» и не хотела, чтобы ее семья прозябала. Ее дом снова стал пригодным для житья. Через несколько лет она вновь покинула его по приказу Наполеона, который ввиду приезда королевы Испании в Бордо хотел, чтобы Люси исполняла обязанности ее придворной дамы. Тем временем ее муж стал префектом Брюсселя. Но в душе де Ля Тур дю Пены оставались легитимистами, и возвращение Бурбонов они приветствовали с радостью.
Во время знаменитого Венского конгресса маркиз сопровождал Талейрана во дворце князя Кауница, и там ему представилась возможность показать все искусство дипломатии, каким он владел. Затем он получил пост полномочного министра в Гааге, а позже – посла в Турине.
Однако приход к власти Луи-Филиппа снова разрушил их счастливую жизнь. Их младший сын, Эмар (старший, Юмбер, был убит на дуэли в 1816 году), влюбился в герцогиню Беррийскую, и она даже провела одну ночь в Буиле. Но история кончилась тем, что Эмар был заочно приговорен к смерти. Ему пришлось бежать на остров Джерси, а оттуда перебраться в Англию. Отец встал на его защиту и был заключен в тюрьму на три месяца – вместе с Люси, не пожелавшей оставлять любимого супруга.
Затем де Ля Тур дю Пенов выслали