Спустя несколько месяцев внимание Муавийи было отвлечено от внешних войн смутами в самом Халифате. В июне 656 г. был убит в своем доме халиф Усман . Через несколько дней жители Медины избрали на его место двоюродного брата и зятя пророка Али ибн Абу Талиба. Большинство провинций признало этот переворот, только Муавийа наотрез отказался присягать человеку, руки которого, как он говорил, запятнаны кровью Усмана. Ибн Тиктак пишет, что когда в Сирию прибыли послы Али и потребовали принесения присяги, Муавийа выставил перед народом окровавленную рубаху убитого халифа, горько плакал над ней и потом приписал смерть Усмана проискам Али. После этого сирийцы единодушно приняли его сторону. Объявив себя мстителем за покойного, Муавийа стал готовиться к войне с Али. Сирийские арабы активно поддержали его в этой борьбе. В июне 657 г. у селения Сиффин на берегах Евфрата разыгралась тяжелая девятидневная битва. Когда победа стала клониться на сторону Али, Муавийа сделал ловкий дипломатический ход – он отправил во вражеский лагерь парламентеров и предложил разрешить спор миром. Али не смог отказаться от этого предложения, так как сам прежде неоднократно выступал с ним. К тому же все воины были страшно утомлены беспрерывными боями и нуждались в отдыхе. Противники договорились передать свой спор на рассмотрение третейского суда и разошлись.
Для Али это соглашение стало началом конца. Наиболее активные из его последователей были возмущены нерешительностью своего вождя. Они откололись от него и образовали собственную партию – хариджитов. Другие, не питавшие к Али особенной любви, но вынужденные повиноваться ему как своему халифу, теперь получили законную отговорку покинуть его войско, ибо, подписав равноправный