В 1042 году Харальд и его воины принимают активное участие в дворцовом перевороте, в результате которого император Михаил V Калафат был свергнут и ослеплен. Известный византиевист Г. Г. Литаврин склонен считать, что с самого начала своего правления Константин Мономах «проявлял недоверие к русским и варягам, верно служившим ненавистным новому императору Пафлагонцам». А Харальд, кроме всего прочего, был в дружественных отношениях с Ярославом Мудрым, с которым у взошедшего на престол Константина Мономаха сразу же сложились натянутые отношения, завершившиеся открытым столкновением в 1043 году. Неудивительно поэтому, что император выдвинул против Харальда обвинение в незаконном присвоении государственных средств.
В тюрьме Харальд оказался вместе с двумя своими спутниками, Халльдором Сноррасоном и Ульвом Оспаксоном. Слух о заключении Харальда в тюрьму разнесли по северным странам варяги, служившие в Константинополе. Спасаясь от суда, Харальд и его товарищи по несчастью (а также многие из воинов отряда) были вынуждены бежать из столицы, укрывшись в Киеве. Это бегство Харальд осуществил на своем корабле. Бегство протекало непросто. Бухта Золотой Рог была перегорожена цепью. Разогнав судно, Харальд приказал, когда цепь была рядом, всем своим спутникам быстро перебежать на корму: нос судна поднялся над цепью. Тогда Харальд велел всем бежать на нос – и корабль благополучно перевалил через цепь. Рассказ саг о бегстве Харальда из Константинополя подтверждает и К. Кекавмен: «Все же он тайно ушел…» Согласно легенде, одной из причин ареста Харальда стала любовь к нему племянницы императрицы Зои – Марии.
В 1043 году князь Ярослав, используя как предлог «убийство одного знаменитого русского в Царьграде» (Константинополе), послал своего сына – новгородского князя Владимира – совместно с Харальдом в поход на императора Константина Мономаха. Поход закончился миром, заключенным в 1046 году.
Зимой 1043/1044 годов Харальд стал зятем Ярослава, взяв в жены Елизавету Ярославну. Будущий король Норвегии приложил много усилий, чтобы завоевать любовь девушки, – ода Харальда, перечисляя его умения, навыки и военные заслуги, в каждом четверостишии содержит слова: «Однако не мил я русской красавице».
Харальд участвовал в боевых действиях на всех театрах военных действий Византии – в Месопотамии, Палестине, на Сицилии. В период службы он добыл огромное количество золота и драгоценных камней, часть этой добычи на протяжении ряда лет