– О чем, отче святый, так печалишься ты? – спросил его о. Серафим.
– Я скорблю о сестрах Дивеевской общины, – ответил старец Пахомий, – кто их будет назирать после меня?
О. Серафим, желая успокоить старца в предсмертные минуты, обещался сам назирать их и поддерживать все так же после смерти его, как было при нем. Это обещание успокоило и обрадовало отходящего ко Господу о. Пахомия. Он поцеловал о. Серафима и затем вскоре опочил мирным сном праведника. О. Серафим горько оплакал потерю старца Пахомия и, с благословения нового настоятеля о. Исаии, также горячо любимого, удалился в пустынную келию (20-го ноября 1794-го года, в день прихода в Саровскую пустынь).
Несмотря на удаление о. Серафима в пустынку, народ стал беспокоить его там. Приходили и женщины.
Великий подвижник, начиная строгую пустынническую жизнь, считал для себя неудобным посещение женского пола, так как это могло соблазнить и монашествующих, и мирян, склонных к осуждению. Но, с другой стороны, лишить женщин назидания, ради которого они приходили к пустыннику, могло быть делом, неугодным Богу. Он стал просить Господа и Пресвятую Богородицу об исполнении его желания, и чтобы Всевышний, если это не противно Его воле, дал ему знамение на то преклонением ветвей вблизи стоявших дерев. В преданиях, записанных в свое время, есть сказание, что Господь Бог действительно дал ему знамение Своего изволения. Наступил праздник Рождества Христова; о. Серафим пришел в монастырь к поздней обедне в храм Живоносного Источника и причастился Св. Христовых Таин. После обеда в своей монастырской келии он вернулся на ночь в пустыню. На следующий день, 26-го декабря, празднуемый по положению (Собор Пресвятой Богородицы), о. Серафим вернулся ночью в обитель. Проходя свой холм, где он опускается вниз долу, отчего гора и названа была о. Серафимом Афонскою, он увидел, что с обеих сторон тропинки огромные сучья вековых сосен склонились и завалили дорожку; вечером ничего этого не было. О. Серафим упал на колени и поблагодарил Бога за данное, по молитве его, знамение. Теперь он знал, что Господу Богу угодно, дабы жены не входили на его гору.
В продолжение всего подвижничества о. Серафим носил постоянно одну и ту же убогую одежду: белый полотняной балахон, кожаные рукавицы, кожаные бахилы – вроде чулок, поверх которых надевали лапти, и поношенную камилавку. На балахоне висел крест, тот самый, которым благословила его родная мать, отпуская из дома;