К горечи разлуки со своим детищем – скитом добавлялась сильная физическая немощь: на ногах отца Антония открылись глубокие язвы – следствие его непомерных трудов. В новом монастыре – городском, расположенном при большой дороге – он часто мог давать приказания только лежа. Тем не менее через силу новый игумен заботился о внешнем и внутреннем благоустройстве монастыря по образу лучших русских обителей. Много раз пытался он сложить с себя бремя настоятельства, но Калужский епископ был неумолим. Тринадцать лет продолжалось это страдание. Наконец митрополит Московский святитель Филарет вступился за отца Антония и повлиял на Калужского епископа, который согласился отпустить его «на покой» в Оптину пустынь.
В 1853 году он возвратился в родной скит и прожил еще двенадцать лет. «Покой» же его был многотрудный, многоболезненный, но в духовном отношении многоплодный.
Свой смиренный и кроткий характер отец Антоний сохранил до конца жизни. Он никогда ничем не соблазнялся, никого не осуждал и не порицал; ни о ком не изменял благой мысли, на все и на всех смотрел ясным оком, чем и доказал, что имел чистое сердце. Об образе общения его со своими духовными чадами говорит характерный случай.
Один скитский инок привык не ходить к утрени. Отец Антоний убеждал его, но тот ссылался на нездоровье. Никакие самые убедительные уговоры не действовали на него. Тогда старец сам пошел на утреню несмотря на то, что по болезни ног вообще не мог стоять на службе. После утрени он отправился прямо к тому иноку. Тот, увидев скитоначальника, вскочил с постели испуганный, а преподобный Антоний как был в мантии, так и упал ему в ноги. «Брате, брате мой погибающий! Я за твою душу обязан дать ответ пред Господом: ты не пошел на святое послушание. Пошел я за тебя. Умилосердись, брате мой, и над собой, и надо мной, грешным!» – говорил он у ног своего