То время было безусловно счастливейшим периодом его жизни. Когда Веллингтон получил должность посла в Париже, лорд Фитцрой остался его помощником. Во время отсутствия патрона (тот участвовал в работе Венского конгресса) он выполнял все обязанности посла. Лорд Фитцрой бегло говорил по-французски, хотя и с сильным английским акцентом. Молодая супружеская пара пользовалась всеобщей симпатией и уважением. Однако вскоре тот счастливый период их жизни неожиданно закончился.
В феврале 1815 года Наполеон бежал с острова Эльба. В следующем месяце он с триумфом вступил в Париж, и война началась снова.
Лорд Фитцрой отвез беременную жену в Брюссель и 18 июня уже находился в штабе герцога Веллингтона в Ватерлоо, куда они вместе выехали из Брюсселя утром 16 июня. В течение следующих трех дней он вновь выполнял обязанности главного адъютанта герцога. На исходе третьего дня шальная пуля раздробила ему локоть правой руки. Он сам пришел в здание, где размещался полевой госпиталь, и обратился к дежурному хирургу. Хирург попросил его лечь на стол и ампутировал руку выше локтя. Лорд Фитцрой не издал ни единого стона. Лежащий в той же маленькой комнате раненый герцог Орангский не подозревал, что его соседу делали операцию, до тех пор, пока тот не обратился к хирургу со словами: «Эй, принесите-ка мою руку назад. Там на пальце кольцо, которое надела мне жена».
На следующий день Веллингтон написал герцогу Бьюфорту:
«Мне очень жаль, но я вынужден сообщить, что Ваш брат Фитцрой тяжело ранен и потерял правую руку. Я только что навестил его. Он чувствует себя настолько хорошо, насколько это возможно в данных обстоятельствах. Признаков заражения нет. Вы знаете, насколько он всегда был мне необходим и как мне теперь будет не хватать его помощи, а также с каким искренним уважением я всегда к нему относился. Поверьте мне, я очень за него волнуюсь… Надеюсь, что скоро он снова сможет присоединиться ко мне».
Лорд Фитцрой не заставил себя долго ждать. Как только выздоровел, он вновь вернулся в Париж к своим обязанностям секретаря посольства. Герцог Веллингтон теперь командовал оккупационными силами. Фитцрой сопровождал герцога в командировках в Вену и Верону. В 1818 году, когда оккупационные войска были выведены из Парижа и лорд Веллингтон получил назначение в Лондоне на должность командующего артиллерией, Фитцрой продолжал службу в качестве помощника своего знаменитого начальника. В 1827 году умер герцог Йоркский, и лорд Веллингтон получил его должность главнокомандующего вооруженными силами страны. Фитцрой и тогда не оставил своего патрона.
В тридцать девять лет он был уже генерал-майором, кавалером ордена Бани, австрийского ордена Марии-Терезии, русского ордена Святого Георгия, баварского ордена Максимилиана-Иосифа, португальского ордена Башни и Меча. Он был адъютантом короля Георга IV, почетным гражданином