Одна из летописей XVII века повествует, что когда Лжедмитрий Второй осадил монастырь, он встретил сильное сопротивление и только благодаря измене двух воевод смог ворваться на территорию монастыря. Но защитники под предводительством князя Волконского не прекращали сопротивления и все были убиты под стенами собора. В память об этом подвиге в 1777 году город Боровск получил свой герб: сердце с крестом (символом верности) в лавровом венке.
Во второй половине XVII века в монастыре находился в заточении протопоп Аввакум.
В настоящее время протяженность крепостных стен составляет 673 метра. Основу боевой устойчивости монастыря, как средневекового фортификационного сооружения, составляют шесть башен: Тайницкая, Входная, Сторожевая, Оружейная, Георгиевская, Круглая.
Древнейшее из сохранившихся до наших дней зданий – трапезная 1511 года – является первым, которое видит посетитель, войдя в монастырский двор. Это средневековая палата для совместных трапез братии начала XVI века.
Необычайно параден северный торец здания с довольно широкой лестницей, ведущей через лоджию, перекрытую крестовыми сводами, к главному входу в палату. К восточной стороне трапезной палаты примыкает небольшая бесстолпная церковь Рождества Христова, отличающаяся красивыми очертаниями свода на распалубках. Пятиярусная колокольня, возведенная в конце XVII века, пристроена к трапезной с севера. Искусной обработкой фасадов, колонками с перехватами, поставленными на углах, ширинками парапетов и междуярусных поясов, разнообразными наличниками окон, обрамлениями арок звонов и горизонтальными рядами многоцветных изразцов она контрастирует с величаво простым обликом трапезной.
Собор Рождества Богородицы выстроен в конце XVI века на месте разобранного белокаменного, освященного самим Пафнутием. Точная дата строительства кирпичного пятиглавого четырехстолпного храма с двумя приделами не установлена. Реставрационные работы в 70-х годах нашего века вернули древнему собору его величавый вид.
Миниатюрная одноглавая бесстолпная Ильинская церковь 1670 года в северной части монастырского двора составляет единый комплекс с одновременно возведенной больничной палатой.
К трехэтажному корпусу летних настоятельских келий XVII века, почти вплотную примыкающему к северной крепостной стене, в 1760–1763 году пристроили бесстолпную одноглавую церковь Митрофания.
В 1923 году монастырь был закрыт. Сначала