В I веке до нашей эры одно из кельтских племен – арависки – первым основало здесь военное поселение Ак-инк, название которого означает «Обильные воды». В I веке уже нашей эры римляне отвоевали его у кельтов и основали свой город, переименовав его в Аквинкум. Вскоре быстро растущая римская колония превратила его в важную оборонительную крепость. Во II веке в Аквинкуме насчитывалось уже около 30 000 жителей, отдельно вырос гражданский город в северной части нынешней Буды. Во времена римлян Крепостная (или Замковая) гора была необитаемой, хотя археологи иногда находят здесь памятники римских времен. Однако они попадали сюда из Аквинкума как пригодный строительный материал. Сами же легионеры возвели укрепленную заставу Контр-Аквинкум в районе нынешнего центра Будапешта, у переправы через Дунай, а на южной окраине Буды – город-лагерь Кампона.
Южный фасад церкви Матяша
После распада Римской империи Аквинкум в эпоху нашествия сменявших друг друга народов был уничтожен полностью, так что даже название его не сохранилось. Территория эта находилась в руках аваров, франков, готов, гуннов и многих других народов. Старинная легенда рассказывает, что
вождь гуннов Аттила поручил своему брату Буде защищать отвоеванные у римлян территории. Буда построил хорошо укрепленный военный лагерь, который и стал носить его имя. Но впоследствии Буда изменил брату, и Аттила, возвратясь из завоеванной им Италии, повелел убить Буду и даже запретил произносить его имя.
Есть и другая версия о происхождении этого правобережного поселения: название его идет от болгаро-славянского слова «буда» (хижина, домик). В науке эта версия считается наиболее достоверной.
После гуннов в средней Дунайской области появились мадьяры во главе со своим вождем Арпадом. Покорив (или вытеснив) проживавшие здесь племена, основатель династии венгерских королей в 896 году избрал для себя местом постоянного жительства древнюю Буду, существовавшую и до прихода венгров.
В 1242 году огромные татарские армии перебрались через замерзший Дунай, разрушили и сожгли придунайские поселения. Король Бела IV, опасаясь нового нашествия татар, начал возводить по всей стране крепости, вот тогда необитаемое до того плоскогорье Крепостной горы и привлекло его внимание. Замковая гора была самой низкой из гор Буды, над уровнем моря она возвышалась всего лишь на 151 метр, однако по своему расположению была очень удобной для возведения укреплений.
В 1255 году король Бела IV приказал возвести здесь крепость для защиты страны, вокруг которой вырос город с гражданским населением. Для верующих стали строиться церковь Святого Николая, церковь Богородицы и церковь Марии-Магдалины. Для самого короля возвели замок.
К XIV веку Будайская крепость еще не стала центром страны,