Старец о. Исаия очень почитал и любил о. Серафима, а также дорожил его беседами; поэтому он, когда был свеж, бодр и наслаждался здоровьем, нередко сам ходил в пустынь к о. Серафиму. В 1806 году Исаия, по старости лет и от трудов, понесенных для спасения себя и братии, сделался особенно слаб здоровьем и, по собственному прошению, уволился от обязанности и звания настоятеля. Жребий занять его место в обители, по общему желанию братии, пал на о. Серафима. Вот уже второй раз старец избирается на начальственные должности по монастырям, но и на этот раз, по своему смирению и из крайней любви к пустыни, он отказался от предлагаемой почести. Тогда голосом всей братии настоятелем избран был старец Нифонт, исполнявший до того времени послушание казначея.
Старец о. Серафим после смерти строителя Исаии не изменил прежнего рода жизни и остался жить в пустыньке. Он только принял на себя еще больший труд, а именно молчальничество. К посетителям он более не выходил. Если ему самому случалось неожиданно встретить кого в лесу, старец падал ниц лицом и до тех пор не поднимал глаз, пока встретившийся не проходил мимо. Таким образом он безмолвствовал в продолжение трех лет и некоторое время перестал посещать обитель по воскресным и праздничным дням. Один из послушников носил ему и пищу в пустынь, особенно в зимнее время, когда у о. Серафима не было своих овощей. Пища приносилась однажды в неделю, в день воскресный. Трудно было назначенному иноку совершать это послушание в зимнее время, так как в пустыньку о. Серафима дороги не было. Бывало, бредет он во время вьюги по снегу, утопая в нем по колена, с недельным запасом в руках для старца-молчальника. Вошедши в сени, он произносил молитву, а старец, сказавши про себя: «Аминь», отворял дверь из келлии в сени. Сложив руки на груди крестообразно, он становился у двери, потупив лицо долу, на землю; сам ни благословит брата, ни даже взглянет на него. А пришедший брат, помолившись, по обычаю, и поклонившись старцу в ноги, полагал пищу на лоточек, лежавший на столе в сенях. Со своей стороны, старец клал на лоточек же или малую частицу хлеба, или немного капусты. Пришедший брат внимательно замечал это. Этими знаками старец безмолвно давал знать, чего принести ему в будущее воскресение: хлеба или капусты.
И опять пришедший брат, сотворив молитву, кланялся старцу в ноги и, испросив молитв его о себе, возвращался в обитель, не услыхав от о. Серафима ни единого слова. Все это были только видимые, наружные знамения молчальничества. Сущность же подвига состояла не в наружном удалении от общительности,