На Кавказе же война приобретала затяжной и все более ожесточенный характер. В 721 г. хазары вторглись в Армению, одержали несколько побед, но затем были разбиты. В ответ арабский наместник Армении Абу Убейд Джаррах совершил два набега на Хазарию, взял города Семендер, Беленджер и вернулся с богатой добычей. После этого столица Хазарского каганата была перенесена подальше от опасного региона. Вместо разгромленного Семендера ею стал город Итиль, основанный в низовьях Волги. Туда стали переселяться многие хазарские семьи.
Особенно трудно пришлось каганату, когда против него выступила еще и Алания. Решила воспользоваться войной с арабами и сбросить зависимость от хазаров, ударила по их тылам. Но аланы просчитались. Арабам было безразлично, в какой очередности покорять северные народы. В 724–725 гг., пройдя через Дарьяльское ущелье, они напали на саму Аланию, одолели ее и обложили данью. В 726 г. каган предпринял ответный набег на Закавказье. В 728 г. последовал контрудар арабов. Его отразили, сын кагана Барджиль вторгся в Азербайджан, однако здесь был разгромлен, победители-арабы захватили «знамя в виде медного изображения». А в 732 г. они опять отбили у хазар Дербент, разместив в нем 14-тысячный сирийский гарнизон.
Но непобедимость халифата уже кончалась. Захватив огромные пространства и сражаясь на многих фронтах, он разбросал свои силы. Арабские воины и военачальники в богатых покоренных городах входили во вкус роскоши и житейских благ. Прежние монолитные контингенты разбавлялись исламизированными местными народами. Которые нередко были не прочь повоевать и пограбить, но и власть халифа терпели лишь вынужденно. С 733 г. покатилась череда восстаний по Средней Азии. Нередко их инициировали те же сектанты и революционеры-маздакиты, но теперь они выступали под антиарабскими лозунгами и получали широкую поддержку. В 735 г. восстала против захватчиков и Грузия.
Для ее усмирения наместником Армении и Азербайджана был назначен полководец Мерван. В памяти грузин он до сих пор остался одним из самых страшных завоевателей. Прошелся с большим войском по мятежной стране и буквально залил ее кровью. Большая часть городов была разрушена. Население подвергалось массовым казням. Его сгоняли в огромные толпы, и Мерван одним мановением руки осуждал всех на смерть. Множество обреченных, невзирая на пол и возраст, выстраивали в очереди к палачам или укладывали рядами и рубили головы. Других сжигали, топили, сбрасывали в пропасти.
Превратив Грузию в пустыню, Мерван собрал вспомогательные части из кавказских народов, доведя армию до 150 тыс. бойцов. И в 736 г. двинулся на север. Пройдя через ущелья Кавказа, занял