Такая политика приводит к тому, что к 1815 году европейские цены на хлеб безудержно растут, а Одесса и Феодосия не справляются с нахлынувшими иностранными судами, из-за чего многие уходят пустыми. И снова Пётр Афанасьевич проявляет себя как истинный патриот города. Оставив пустые многомесячные хлопоты о возобновлении свободного плавания по Азовскому морю, он самовольно распоряжается открыть Керченский пролив. И через год, благодаря хлынувшим в порт за хлебом судам, Таганрог заметно оживает. Тут-то воодушевленный возросшим пополнением городской казны градоначальник и берётся за обустройство вверенного ему города и реконструкцию Таганрогской гавани. Правда, в делах ему часто вредит его всегдашняя грубость с подчинёнными, что вскоре плодит массу влиятельных врагов и недоброжелателей, особенно в среде греческого магистрата и купечества, неохотно расстающегося со своими давними торговыми преференциями.
Все это, а также нарушения по финансовой части, впрочем, вполне обычными для того времени, и послужит поводом для создания сенатской ревизии градоначальства, которая выявит упущения и недостатки, вследствие чего Пётр Афанасьевич Папков и покинет пост. Карьера его закатится, в этот раз уже навсегда. В отставке он поселился в своем имении – селе Красный Кут Славяносербского уезда Екатеринославской губернии, купленном еще в 1812 году у П. И. Штерича (1250 душ крепостных крестьян, 7 тысяч десятин земли), с головой погрузившись в разведение тонкорунных овец и ангорских коз. Да так, что стал членом Главного Московского общества улучшения овцеводства. Из-под его пера выходит ряд научных статей по проблемам овцеводства в «Журнале овцеводства»: «О стаде тонкошёрстных овец» (1833), «Об ангорских козах» (1833) и «О продаже ангорских коз» (1839). Кстати, не чужд был Петр Афанасьевич и промышленного производства: благодаря его стараниям в имении было налажено изготовление сукна на построенной им собственной фабрике.
Дом его после отъезда из Таганрога становится доходным.