Пустынные подвижники прилагали труды к трудам и приходили от подвига в подвиг, от добродетели в добродетель, подавая пример ученикам во всех путях своих, в молитве, посте и трудах. Когда они читали Божественное Писание, то не велегласно и не красно, но смиренным и кротким голосом — один читает, а другой объясняет: так они повелевали делать и ученикам своим. Призывали они и мирских людей в церковь на молитвенный подвиг и сами неустанно молились Богу и Пречистой Богородице со слезами день и ночь, призывая на помощь себе великих чудотворцев, чтобы обитель их распространилась и тела их на пустом месте не лежали.
Труды и молитвы пустынников не были тщетны: милостью Божией и предстательством Пресвятой Богородицы и великих чудотворцев обитель расширилась и устроилась и слава о ней распространилась далеко за окрестные пределы. Братия стали умножаться, построены были келлии и особая черная изба для приготовления пищи и питья и для печения хлеба.
Из основателей монастыря старец Леонид скончался первый. Преподобный Адриан с братией погребли старца с честью и оплакали его в надгробных песнопениях.
По преставлении старца Леонида наступили тяжкие бедствия для пустынной обители. Окрестные поселяне, по внушению лукавого, задумали разорить пустыню, ограбить ее и погубить преподобного Адриана с братией.
В 1550 году 5 марта, в канун памяти 42-х мучеников Амморейских, со среды на четверг вооруженные злодеи белосельцы явились в монастырь, одни в доспехах с мечами, другие в саадаках (саадак — полный прибор вооружения луком и стрелами: лук с налучьем и стрелы с колчаном), прочие с копьями и рогатинами. Для них Христова Четыредесятница еще не достаточно исполнена была древними святыми мучениками в странах Цареградских, и Римских, и Севастийских, в Газе, Синае и Раифе и других местах. Но прежние мучители отвращали от Христа, а эти окаянные возмутились ради прибытка и приехали дополнять число Христовых мучеников в Русском царстве сими пустынниками. Разбойники стали избивать братию, стреляли, рубили и кололи копьями. Преподобный Адриан скрылся от убийц в задний дровяник, но окаянные мучители отыскали его там под дровяником, оцепили игумена веревкой за горло и, притащивши в переднюю келлию, подвергли ужасным пыткам: царапали бритвами и прижигали огнем, допрашивая, где находятся у них «животы и статки» — где их имущество и деньги. Преподобный Адриан отвечал: «Животы наши у Всемилостивого Спаса на небесах, а статки наши на земле; ослабьте немного муки мои, я их достану и отдам вам в руки». Мучители пустили нагого страдальца. Преподобный, встав, достал горшочек, в котором было сорок рублей, подал мучителям и сказал: «На эти статки, на это серебро я и братия намеревались было создать большую церковь во имя Пречистой Богородицы». Мучители сказали: «Мы сейчас создадим тебе собственной силой!»