Постепенно, память о пустыни стала исчезать совершенно. На месте бывшей часовни над могилой старца Зосимы стоял лишь простой липовый крест. О старце помнили лишь две высокие ели, росшие рядом, вероятно еще со времен Зосимы, да колодец, вырытый им на берегу Молохчи. Однажды, местные работники увидели старца Зосиму, который кадил свою могилу. В другой раз, пастухи заметили огонь над самой могилой. После этих чудесных явлений, над его могилой была выстроена часовня.
В 1855 г. всю землю с Ульяниной пустынью приобрела дворянка Генриетта Ивановна Нетель. Несмотря на то, что она была лютеранского исповедания, она не препятствовала чествованию памяти схимонаха Зосимы. У часовни продолжали совершаться исцеления. Молва о них все более и более росла. Это даже привело госпожу Неттель к мысли о пожертвовании Ульяниной пустыни с часовней в пользу духовного ведомства. Но почему-то с пожертвованием она стала медлить, даже передумала, а потом в ее семье случилось несчастье – умерла любимая дочь Юлия. Мать похоронила ее у самой Зосимовской часовни и все время думала о том, что будет с могилой после ее смерти, когда другие дети продадут имение. Тогда Неттель и вспомнила о своих прежних планах. Помощником ее в благом деле стал сын радонежского юродивого Филиппушки, Прокопий.
Новая каменная часовня на могиле схимонаха Зосимы была выстроена при помощи семьи московского купца Дмитрия Михайловича Шапошникова, благотворителя Лукинской женской обители, Подольского уезда. Сам схимонах Зосима трижды являлся Дмитрию Михайловичу в сонных видениях, обнимал его со слезами и просил не оставлять начатого дела. Вскоре был освящен храм во имя Смоленский иконы Божией Матери.
В 1893 г. во втором этаже трапезного корпуса был освящен Сергиевский храм. В 1894 г., по инициативе настоятеля обители архимандрита Павла, на месте первоначального храма, над могилой старца Зосимы, был заложен каменный собор. Средства на его постройку выделил Иван Евфимиевич Ефимов, издатель многих духовных брошюр.
В июле 1900 г. Московским митрополитом Владимиром был освящен средний престол храма во имя Смоленской иконы Божией Матери. Северный его придел был посвящен Архангелу Рафаилу и прочим Небесным Силам бесплотным, южный – св. Зосиме Соловецкому. В соборе были две гробницы. Одна означала место погребения схимонаха Зосимы, другая принадлежала архимандриту Павлу, основателю Смоленского собора.
В 1899 г. над святыми монастырскими воротами был освящен храм во имя Всех святых.
В Смоленской Зосимовой пустыни был пострижен сщмч. Дмитрий (Добросердов).
Более двадцати лет, в Зосимовой пустыни провел Алексий (Соловьев), один из самых известных и почитаемых старцев XX столетия. В монастырь он поступил в конце XIX в., после смерти своей супруги. Пострижен был игуменом Германом (Гомзиным). В 1906 г. Алексий принял подвиг старчества. Он поселился в отдельной избушке, куда приезжали к нему духовные дети и паломники. Была на исповеди о. Алексия и великая княгиня Елизавета