Впоследствии римские папы постепенно восстановили крепость, а в XVI веке «Адрианова башня», как называли усыпальницу императоров, получила свое нынешнее название – «Замок Святого Ангела», и произошло это по следующему поводу.
В конце VI века в Риме свирепствовала моровая язва, и жители города в страхе и трепете молились о спасении. Римским папой был тогда Григорий Великий, который, подняв икону Божьей Матери, крестным ходом стал обходить город. Когда процессия переходила через Элиев мост, направляясь к Ватикану, над башней Адриана послышались голоса певших ангелов: «Аллилуйя! Воскресе якоже рече, аллилуйя!». Проникнутый благоговением народ пал ниц, а верховный понтифик обратился с мольбой к иконе Божьей Матери: «Моли Бога о нас, аллилуйя!». И удостоился видеть благословенное явление Ангела Божьего, парящего в воздухе над гробницей императора Адриана и вкладывающего карающий меч свой в ножны. Язва тотчас прекратилась…
Папы Николай V и Александр VI особенно способствовали тому, чтобы мавзолей Адриана принял совершенно новый вид. В конце XV века папа Александр VI Борджиа укрепил обветшавшее сооружение, возвел вокруг него четыре бастиона, названные именами четырех евангелистов; сделал парадный двор, где декоративной горкой были сложены уже ненужные мраморные ядра. Правда, по преданию, одно из них было использовано и в XVII веке, когда шведская королева Христина стреляла с крыши замка в сторону холма Пинчо.
Римские папы постоянно занимались перестройками в замке, превращая его в укрепленное место. Для большей безопасности верховных понтификов из Ватиканского дворца в замок провели тайный подземный ход длиной около одного километра; в случае опасности папы могли перейти прямо из своего дворца и укрыться в этой крепости. Кроме того, в замке были устроены папские покои, комната для хранения казны и сокровищ, дворики и помещения для хранения продовольствия на случай длительной осады.
Со временем некоторые помещения замка превратились в тюремные камеры, в которых в разное время томились архитектор Аристотель Фиораванти, Галилео Галилей, Бенвенуто Челлини, граф Калиостро, семейство Ченчи и др. Иногда осужденных казнили прямо на верхней террасе замка, и тогда над Римом раздавался печальный звон колокола, и поныне находящегося здесь.
В XVI веке при римском папе Павле III на вершине замка была поставлена мраморная статуя архангела Михаила (работа Р. Монтелупо); в XVII веке по повелению папы Венедикта XIV ее заменили бронзовой, которая возвышается там и поныне. Ее выполнил скульптор Ф. Жирардин по рисунку фламандского живописца П. Феншенфельда. Бронзовые входные двери, которые вели в гробницу, в 1825 году сняли, так как был открыт коридор, который ведет от входа в большую нишу. Возле нее начинается спиральный вход, огибающий все здание внутри пандусом и достигающий самой вершины замка.
Церковь в замке Святого Ангела небольшая, всего с одним престолом. В стене,