Только в конце жизни, когда его духовное чадо иеромонах Паисий, находящийся в России со сборами, стал слезно упрашивать авву покинуть игуменское место, – он не только согласился, но и сам стал прикладывать усилия к своему свержению. Тогда весь церковный Петербург уже недвусмысленно требовал удаления игумена, поставив это необходимым условием строительства часовни в Северной столице. О. Паисий только и мечтает о том моменте, когда старца отстранят от руководства и все дела сразу устроятся. Но что должно было последовать за устранением старца? Ответ мы находим в следующем письме отца Паисия, которое он написал, предвосхитив отстранение старца: «Ваше высокопреподобие, всечестнейший и богоизбранный, многоуважаемый старец наш о. Виссарион и всечестнейший, высокопреподобнейший о. игумен Феодорит! Увы, понеже обитель наша многих имеет врагов, которые отверзли уста своя, хотящих ю потопити в водах многих – хульных клеветах. Но Господь, прибежище наше в скорбех, обретших ны зело – Бог знает, что будет дальше, но я с своей стороны думаю, что все постройки нужно бы приостановить и копеечку беречь для будущего времени…»
Вот что в действительности крылось за попытками сместить старца. Старец принялся за великое дело, взятое на себя не по собственному хотению, но по воле Божией. Ради великой любви к православию и Родине он со своим другом о. Варсонофием решает создать первую обитель на Афоне, где жили бы преимущественно русские. Ясно, что обитель должна быть не маленькая – ведь Россия самая большая православная держава. Но повсюду распространяется клевета на него, дабы помешать этому