30 августа 1814 г. он был уволен от звания московского главнокомандующего и назначен членом Государственного совета, но жил большей частью в Париже, и только в 1823 г. поселился в Москве. Несомненно, Ростопчин был умный человек, хорошо сознававший слабые стороны увлечения всем французским в тогдашнем русском обществе, и видевший недостатки политики Александра I после 1815 г.; но в то же время он был крайний консерватор и ревностный защитник крепостного права. Нередко прибегал к насильственным, мало извинительным мерам, был запальчив и мстителен (например, по отношению к М.М. Сперанскому). Кроме упомянутых афиш, которых известно более 16 и которые в 1889 г. изданы А. С. Сувориным, Растопчину принадлежит целый ряд литературных произведений; из них многие изданы. Граф имел обширную библиотеку и архив, которыми разрешал свободно пользоваться многим ученым.
Через четверть века после основания А.Г. Орловым Хреновского конного завода граф Ф. В. Ростопчин завел свой конный завод в селе Вороново Московской губернии. Он проводил спаривания арабских жеребцов с кобылами чистокровной верховой породы. Несмотря на большую селекционную работу на рубеже XVIII-XIX веков, успеха добились только граф А. Орлов и граф Ф. Ростопчин. Произошло это потому, что большинство русских коннозаводчиков руководствовались ошибочной теорией французского натуралиста Бюффона, а Орлов и Ростопчин работали самостоятельно.
В 1845 году конные заводы А. Г. Орлова и Ф. В. Ростопчина продали в казну. На первых порах племенная работа с орловской и ростопчинской породами велась раздельно, но в последующем постепенно кобыл ростопчинской породы стали подбирать к жеребцам орловской верховой, что в конечном итоге привело к образованию уникальной для того времени группы лошадей, названных впоследствии орлово-ростопчинскими.
Для них характерны высокий рост, красота внешних форм, преимущественно темные масти, хорошая резвость, выносливость, крепость конституции, хорошее здоровье. Несомненно, эти качества не могли остаться без внимания в среде коневодов и не только в России, но и далеко за ее пределами. Порода получила признание и высокую оценку на различных выставках на родине и за рубежом. Жеребец Приятель на Всемирной выставке 1893 года в Чикаго был признан лучшей верховой лошадью и продан за колоссальную для того времени сумму – 10 тысяч рублей. На выставке в Париже 1900 года жеребец Баянчик был отмечен золотой медалью.Трагическая судьба постигла верховую лошадь, которую независимо друг от друга выводили Ф. Ростопчин и А. Орлов. После революции их свели в один конный завод. Перед Великой Отечественной войной было 100 лошадей