Осенью 1842 года королева Виктория первый раз посетила Шотландию. Это было спустя два с половиной года, после того, как она вышла замуж за принца Альберта.
Виктория и Альберт любили отдыхать в Шотландии, и сэр Джемс Кларк, доктор королевы, посоветовал им область Дисайд, как место с хорошим здоровым климатом. В 1852 году королева Виктория и принц Альберт приобрели этот замок после смерти его владельца, подавившегося за обедом рыбной костью, за тридцать тысяч гиней. При посещении этих мест принц Альберт, увидев леса вокруг руин старого замка, вспомнил свою родину Тюрингию и купил участок земли, на котором из гранита был построен новый замок Балморал. Для этого был приглашён Вильям Смит – архитектор города Абердина, но автор общего дизайна – принц Альберт, супруг королевы Виктории.. Первый камень в постройку был заложен самой королевой Викторией. Этот камень сейчас можно увидеть у подножья стены при входе в замковую арку. Леса в округе замка оставались неприкосновенными при строительстве. Это помогло сохранить множество животных в лесах, а замок получил славу одного из лучших охотничьих угодий в Шотландии.
К 1856 году был возведён замок из местного белого гранита в старо шотландском баронском стиле. Отдельное крыло для королевской семьи, отдельное – для обслуживающего персонала, и соединяющая их большая семиэтажная башня, семьдесят комнат, сто восемьдесят окон. Комнаты замка были большими и светлыми, а огромные окна давали возможность наслаждаться прекрасным видом. Пока велось строительство королевская семья жила в старом замке, но после его завершения старый замок был разрушен. Это было любимое жилье королевы Виктории, она сделала из замка настоящее шотландское жилище. Это заметно даже в том, что ковры во всем замке вытканы из особого балморальского тартана. А, как известно, право ношения на эту ткань давалось только членам монархической семьи. После смерти королевы Виктории в 1901 году, британские монархи продолжали приезжать сюда и проводить здесь часть лета или осени. Эта традиция сохранилась и сегодня, поэтому для посещения публики в замке