Аль-Амин прекрасно понимал, что аль-Мамун не примирится с его решением, и двинулся против брата с армией, в которой важную роль играли образованные еще Харуном ар-Рашидом отряды тюркских наемников, на чью преданность халиф мог вполне положиться. Несмотря на чистоту арабской крови, аль-Амин снискал себе славу дурного правителя и не вызывал особой симпатии ни у арабов, ни у персов. Это был слабый и легкомысленный человек, пренебрегавший государственными делами, проводивший время в развлечениях и предоставивший дурным советникам вершить все государственные дела. Он восхищался поэзией Абу Нуваса, прославлявшего в стихах винные радости и любовные похождения, в том числе и с мальчиками, и сделал его своим другом.
Положение аль-Мамуна было более выигрышным. В своих действиях он следовал законным решениям Харуна, которые были подтверждены взаимными клятвами. Его активно поддерживали и армия, и жители Хорасана, поскольку им импонировали его происхождение и четкие проиранские установки. Аль-Мамун получил хорошее образование под руководством перса аль-Фадла ибн Сахла, назначенного ему в наставники отцом еще в 803 году, вскоре после падения Бармакидов. Для этого аль-Фадлу пришлось публично отказаться от зороастризма и перейти в ислам. Аль-Фадл ибн Сахл и его брат аль-Хасан играли при аль-Мамуне ту же роль, какую в свое время при Харуне ар-Рашиде играл Джафар.
Получив пост правителя Хорасана, аль-Мамун мог бы оставаться в Багдаде, поручив наблюдение за провинцией своей администрации, но по совету аль-Фадла он отправился в Хорасан, где создал для себя прочную базу. Он сопровождал отца во время поездки Харуна на восток в 803 году и сумел сразу же после его смерти взять в свои руки все управление провинцией.
После смерти Харуна ар-Рашида в 809 году один из его военачальников в Мавераннахре Рафи ибн Лайс отказался подчиняться багдадской власти и овладел Самаркандом. Халиф выслал против него войско во главе с эмиром Харсамой, который осадил Самарканд и, взяв город в 811 году, казнил мятежника. После усмирения восстания вазир аль-Амина альФадл ибн ар-Рабиа приказал войску Харсамы возвратиться в Багдад. Это, по мнению аль-Мамуна, считавшего, что оно должно остаться под его командованием, противоречило распоряжению покойного Харуна о его суверенитете в Хорасане. По совету аль-Фадла ибн Сахла он отказался отправить войско в Багдад. Так началась война между двумя братьями.
Аль-Амин отправил войско против непокорного брата, но небольшая армия аль-Мамуна под командованием Харсамы и хорасанца Тахира в 811 году нанесла ему поражение и двинулась на запад. Война продолжалась два года. Армия аль-Мамуна заняла весь Западный Иран и подошла к Багдаду. Осада города продолжалась около года. Сторонники аль-Амина при поддержке горожан, боявшихся хорасанской армии и рассматривавших ее приход почти как иноземное вторжение, яростно сопротивлялись. В 813 году город пал, аль-Амин был убит солдатами Тахира, а аль-Мамун был провозглашен