Сделавшись иеромонахом, о. Серафим возымел намерение совсем поселиться в пустыни, так как пустынническая жизнь была его призванием и назначением свыше. К тому же от непрестанного келейного бдения, от постоянного стояния в церкви на ногах, с небольшим отдыхом во время ночи, о. Серафим впал в недуг: у него распухли ноги и на них открылись раны, так что некоторое время он лишился способности священнодействовать. Болезнь эта была немалым побуждением к избранию пустыннической жизни, хотя для отдыха следовало ему просить у настоятеля о. Пахомия благословения удалиться в больничные кельи, а не в пустыню, то есть от меньших трудов к большим и тягчайшим. Великий старец Пахомий благословил его. Это было последнее благословение, полученное о. Серафимом от мудрого, добродетельного и почтенного старца, ввиду болезни его и приближения смерти. Отец Серафим, хорошо помня, как во время его болезни ходил за ним о. Пахомий, теперь сам служил ему с самоотвержением. Раз о. Серафим заметил, что к болезни о. Пахомия присоединилась еще какая-то душевная забота и печаль.
– О чем, отче святый, так печалишься ты? – спросил его о. Серафим.
– Я скорблю о сестрах Дивеевской общины, – ответил старец Пахомий, – кто их будет назирать после меня?
Отец Серафим, желая успокоить старца в предсмертные минуты, обещался сам назирать их и поддерживать все так же после смерти его, как было при нем. Это обещание успокоило и обрадовало отходящего ко Господу о. Пахомия. Он поцеловал о. Серафима и затем вскоре опочил мирным сном праведника. Отец Серафим горько оплакал потерю старца Пахомия и с благословения нового настоятеля о. Исайи, также горячо любимого, удалился в пустынную келью (20 ноября 1794 год), в день прихода в Саровскую пустынь.
Келья, или так называемая пустынка о. Серафима, в которой он спасался, находилась в дремучем сосновом лесу, на берегу реки Саровки, на холме, в пяти или шести верстах от монастыря, на восход зимнего солнца. Она состояла из одной хаты с печкой и имела крылечко с сенями. Вокруг пустынки о. Серафим устроил себе небольшой огород и обнес все занимаемое им пространство забором. Одно время он имел даже пчельник, дававший ему весьма вкусный мед. На половине пути от пустынки к монастырю жили другие отшельники в уединенных избушках: игумен Назарий, иеромонах Дорофей, схимонах Марк. Вся эта обстановка немного напоминала собою Афонскую гору, состоящую из разных возвышений, усеянную лесом, монастырями и кельями пустынножителей, поэтому о. Серафим прозвал свой пустынный холм Афоном, а другие уединенные места в лесу он прозвал в духовном смысле именами разных святых мест, как Назарет, Иерусалим, Вифлеем, Фавор, Кедрский поток, река Иордан и т. д.
Несмотря