У Пьера уже было двое детей, Жан был счастливым отцом подрастающего сына. Проводить в море по девять месяцев в году стало все труднее. В те времена основной базой для бизнеса братьев стал солнечный и насквозь пиратский Новый Орлеан. В этом небольшом городке у моря в те времена из десяти мужчин семеро были каперами. Власти давно махнули рукой на процветающее здесь беззаконие.
Именно сюда и решили переехать Жан и Пьер Лафиты вместе со своими женами и детьми. Порт-о-Пренс всегда был их домом. Так бы и оставалось, если бы в их родном доме жила их бабушка, мадам Лафит. Она умерла, и поводов для того, чтобы вновь и вновь возвращаться в Порт-о-Пренс, не стало.
Неподалеку от Нового Орлеана в бухте Баратария Жан и Пьер решили открыть свою кузницу. Дело весьма прибыльное, а главное – легальное и не вызывающее лишних вопросов. Как раз то, что им было нужно.
Очень скоро кузницу стали посещать все более странные и сомнительные личности. Через год в Баратарии просто не было человека, который бы не знал кузницу Лафитов. Это место стало центром работорговли. У Жана и Пьера к тому моменту было уже без малого тридцать торговых кораблей. Капитаны исправно платили процент от награбленного и поставляли рабов. Вскоре доход от продажи дешевой рабочей силы значительно превысил доходы от каперства. А еще через полгода Лафиты стали чуть ли не единственными поставщиками рабов в южные штаты Америки. Фактически вся Баратария работала на братьев Лафитов.
Так продолжалось вплоть до 1814 года. Власти Луизианы вот уже много лет подряд лелеяли надежду убрать Лафитов из Баратарии. Посадить в тюрьму, изгнать из города – да что угодно. Все понимали, что до тех пор, пока Лафиты в Баратарии, беззаконие будет процветать. Имена Жана и Пьера Лафитов были известны не только в Баратарии или даже Луизиане. О них было известно по ту сторону океана, в Великобритании.
18 июля 1814 года власти Луизианы все-таки отдали распоряжение арестовать Пьера Лафита. В самом разгаре была англо-американская война, в которой братья Лафиты принимали самое что ни на есть активное участие. Естественно, они выступали на американской стороне. Параллельно с этим Жан стал очень часто наведываться в Сент-Луис, всеамериканский центр трапперства. Здесь он часто встречался с Мануэлем Лиза (Лайза в другой транскрипции). В своем дневнике Лафит описал его как «хорошего и великого человека, настоящего траппера и при этом чрезвычайно эрудированного». Лиза всю свою жизнь потратил на налаживание торговых и дипломатических связей с индейскими племенами. И он, безусловно, преуспел в этом