Харран принадлежал турецкому военачальнику Карадже, мамлюку, служившему Малик-шаху. Но из-за его жестокости жители восстали против него и передали власть некоему Мухаммеду из Исфахана. Того, в свою очередь, убил бывший слуга Караджи по имени Джавали, которому Мухаммед опрометчиво доверился. Но власть Джавали оказалась весьма непрочной, а Харран постоянно подвергался нападениям со стороны франков из Эдессы, разорявших поля и мешавших торговле. Было понятно, что они собираются вскоре сделать следующий шаг.
Правитель Мардина Сокман и атабек Мосула Джекермиш были встревожены. Грозившая им обоим опасность заставила их забыть о своей ссоре и объединиться для похода против Эдессы, напасть на врагов первыми. В начале мая 1104 г. они вместе выступили в сторону Эдессы. Сокман вел за собой многочисленную легкую туркменскую конницу, а Джекермиш – меньшую по численности армию, состоявшую из турок-сельджуков, курдов и арабов. Балдуин II узнал, что они стянули войска к Рас-эль-Айну, находившемуся примерно в 70 милях (100 км) от его столицы. Понимая, что без помощи не обойтись, он отправил гонцов к Жослену и Боэмунду и предложил им тоже перейти в наступление и напасть на Харран.
Оставив в Эдессе небольшой гарнизон, Балдуин в сопровождении немногочисленного отряда рыцарей и пехоты, состоявшей из армян-рекрутов, направился в сторону Харрана. В этом походе его также сопровождал архиепископ Эдессы Бенедикт. Неподалеку от Харрана к нему присоединились Жослен, приведший с собой своих солдат, и антиохийское войско под командованием Боэмунда, Танкреда, патриарха Бернарда и бывшего иерусалимского патриарха Даимберта. Всего в армии франков насчитывалось почти 3000 рыцарей и, возможно, в три раза превосходящее их число пехотинцев. По сути, это были все вооруженные силы франков, живших в Северной Сирии, если не считать гарнизонов, оставшихся в крепостях.
Армия франков уже стояла у Харрана, а мусульманские правители все еще находились к северо-востоку от крепости, на некотором отдалении от нее, и двигались в сторону Эдессы. Если бы франки попытались взять Харран приступом, то им удалось бы захватить его. Но они не хотели разрушать укрепления, которые надеялись в будущем использовать в собственных целях. Поэтому они решили, что сумеют устрашить гарнизон крепости и заставить его сдаться. В принципе эта мысль была не беспочвенной. Находившиеся в городе мусульмане были ослаблены и почти сразу же вступили в переговоры. Но Балдуин и Боэмунд стали спорить о том, чей штандарт должен быть установлен на крепости первым, и потеряли время, что, в свою очередь, привело к их краху.