Издателям он написал:
«Там напечатано глупца философа; зачем глупца? стихи относятся к Американцу Толстому, который вовсе не глупец».
Ну и тем самым признал, кому адресован это жёсткий выпад.
Досталось графу Фёдору Толстому и от Александра Сергеевича Грибоедова. В своём бессмертном «Горе от ума», которое до издания распространялось в списках, Грибоедов отозвался о графе весьма нелицеприятно:
Не надо называть, узнаешь по портрету:
Ночной разбойник, дуэлист,
В Камчатку сослан был, вернулся алеутом
И крепко на руку нечист;
Да умный человек не может быть не плу́том.
Когда ж об честности высокой говорит,
Каким-то демоном внушаем:
Глаза в крови, лицо горит,
Сам плачет, и мы все рыдаем.
Вот люди, есть ли им подобные? Навряд…
Ну, между ими я, конечно, зауряд,
Немножко поотстал, ленив, подумать ужас!
Однако ж я, когда, умишком понатужась,
Засяду, часу не сижу,
И как-то невзначай, вдруг каламбур рожу.
Другие у меня мысль эту же подцепят,
И вшестером, глядь, водевильчик слепят,
Другие шестеро на музыку кладут,
Другие хлопают, когда его дают.
Брат, смейся, а что любо, любо:
Способностями бог меня не наградил,
Дал сердце доброе, вот чем я людям мил,
Совру – простят…
Фёдор Иванович Толстой на одном из списков сделал правку:
Фразу «В Камчатку сослан был» заменил на «В Камчатку чёрт носил», пояснив, что его туда никогда не ссылали. Ну и не понравилась ему фраза «и крепко на руку нечист». Он поправил: «в картишках на руку нечист», тоже снабдив пояснением: «Для верности портрета сия поправка необходима, чтоб не подумали, что ворует табакерки со стола».
Он высказал неудовольствие самому Грибоедову. На что автор «Горе от ума» заявил:
– Но ты же играешь нечисто.
Граф не согласился и сказал:
– Только-то? Ну, ты так бы и написал.
Толстой побывал на одной из первых постановок «Горя от ума». Это произвело в зале оживление. Зрители собрались, знакомые с произведением. Кто в списках читал, а кто уже и в книге.
И вот дело дошло до сцены, в которой герой Репетилов произнёс монолог. Граф встал и своим громовым голосом объявил:
– Взяток, ей-богу, не брал, потому что не служил!
Зал взорвался аплодисментами.
Граф Фёдор Толстой был знаменит не только шулерством, но и своими амурными победами, по причине которых и сам нередко подвергался нападкам сплетников. И вдруг, неожиданно для всех в январе 1821 года он женился на танцовщице Авдотье Максимовне Тугаевой (1796–1861). Общество было удивлено, ведь Тугаева была цыганкой. Любовные отношения с Тугаевой были у него давно, но это для общества не внове.
Дочь художника графа Фёдора Петровича от первого брака с Анной Фёдоровной Дудиной (1792–1835), писательница Марья Фёдоровна Каменская (1817–1898), рассказала о женитьбе графа Фёдора Толстого следующее:
«Раз,