Дуэлянт, бретер, картежник, прозвище «Американец» он получил после своего участия в кругосветном плавании адмирала И. Ф. Крузенштерна. Вскоре начала плавания в одном из портов граф Толстой купил себе самку орангутанга – и, по словам его двоюродного племянника – Льва Толстого, «жил с ней как с женой». Во время стоянки на Маркизских островах Толстой завел себе еще одного друга – туземного царя Танега.
Граф Толстой, вождь и орангутанг, с утра запершись в каюте, целый день распивали ром, после чего царь отдал распоряжения, и к кораблю приплыли сто восхитительных женщин. Радостные матросы стали заниматься любовью прямо на палубе, а на корме стоял абсолютно голый граф Толстой, которому мастер-туземец делал замысловатую татуировку по всему телу. Затем Толстой – большой любитель псовой охоты – придумал себе новую забаву: он швырял с борта в море палку и кричал царю: «Апорт!» – и его друг царь прыгал за ней и, радостно скалясь, ловил в воде зубами.
Однажды собутыльником разгульного графа стал корабельный священник. Граф напоил его до положения риз, и когда святой отец как мертвый лежал на палубе, припечатал его бороду сургучом к полу казенной печатью, украденной у Крузенштерна. Священник проснулся и попытался встать, но увидел над собой графа, который сурово сообщил ему, что святость казенной печати нарушать нельзя. Пришлось подстричь бороду под самый подбородок.
Командир корабля, не выдержав несносных проказ графа, поступил с ним так, как на флоте издавна поступали с преступниками: ссадил Толстого на одном из Алеутских островов. Федор Толстой сошел на пустынный берег вместе со своей любимой обезьяной. Явление на берегу русского офицера с орангутангом потрясло туземцев настолько, что они тут же покорились ему и предложили быть их вождем. Граф задумался.
Однажды ему явился во сне святой Спиридоний, покровитель рода Толстых. Во сне святой остановил графа на краю пропасти. Любой человек решил бы, что святой Спиридоний предостерегает его от окончательного падения в пропасть порока и греха; но граф Толстой, решил, что святой предостерегает его от того, чтобы быть царем алеутов, и отказался. На острове Толстой провел несколько месяцев, выиграв у местного вождя в карты весь «необитаемый» остров. Через месяц проходившее мимо острова судно подобрало графа и переправило его на Камчатку, откуда он, меняя собак на лошадей и лодки на паромы, отправился в Санкт-Петербург.
Страстью Федора Толстого были карты. Выигрывал он много, а потом – кутил в своем особняке на Сивцевом Вражке. По слухам, не полагаясь на фортуну, он умело блефовал и «исправлял ошибки фортуны». Среди его друзей и карточных партнеров были Вяземский,