Последние годы жизни Рудольф провел в Вене и Шпайере. С годами он становился все более набожным и сентиментальным. Страдая от артрита, король, ожидая скорой кончины, летом 1291 года отправился в Шпайер, место успокоения королей и императоров Франконского дома. Он мечтал быть похороненным в кафедральной императорской крипте: «Я хочу к другим, в Шпайер, где лежит много моих предшественников, которые также были королями. Сам к ним приеду на коне». Силы покинули его прежде, чем он достиг города, и 15 июля 1291 года он умер в местечке Гермерсхайм. Согласно его желанию, он был похоронен в соборе Шпайера. Надгробие Рудольфа I – наиболее достоверное из дошедших до нас изображений первого габсбургского короля, представляет собой статую пожилого человека в королевском одеянии, с вытянутым лицом, крупным носом и глубокими складками у рта, придающими ему печальное, если не сказать, скорбное выражение. Длинное лицо и большой нос – родовые черты Габсбургов, которые будут передаваться из поколения в поколение.
Несмотря на все усилия Рудольфа, путь Габсбургов наверх не был ни легким, ни быстрым. Его сыну Альбрехту пришлось ждать после смерти отца целых семь лет, пока он занял римско-германский трон. Правда, после того как вымерли все Пржемысловичи, ему удалось посадить на чешский трон своего сына Рудольфа, однако это был всего лишь короткий, меньше года длившийся эпизод, сопровождавшийся к тому же постоянными столкновениями с оппозиционной знатью. Альбрехт, впрочем, пытался во что бы то ни стало спасти чешский трон для своего рода, однако прежде чем ему удалось набрать необходимое войско, он был убит собственным племянником. Это единственное убийство внутри