Провозглашение жителями столицы халифом Ибрахима ибн аль-Махди вызвало незамедлительную реакцию со стороны сторонников аль-Мамуна. Лояльные аль-Мамуну силы выступили против антихалифа, к ним через некоторое время присоединился и сам аль-Мамун с армией. По-видимому, первоначально он замышлял свой поход лишь как карательную экспедицию, однако по мере развития событий изменил свою позицию и принял решение отказаться от столь непопулярной в народе прошиитской политики.
В 818 году гвардейцы из свиты аль-Мамуна неожиданно убили аль-Фадла ибн Сахла и перед казнью под пыткой заявили, что действовали по приказу самого халифа. Разумеется, их признание было оставлено без внимания. Одновременно при таинственных обстоятельствах умер Али ар-Рида, и ходили слухи, что он был отравлен. Осада Багдада, во время которой жители испытывали трудности из-за недостатка продовольствия, длилась несколько месяцев. Наконец, в 819 году аль-Мамун вступил в Багдад, а Ибрахим ибн аль-Махди бежал. Впрочем, позднее он был прощен, а вопрос об алидском наследнике был снят с повестки дня. Возвращение аль-Мамуна в Багдад положило конец тому, что часто принято считать его «прошиитской политикой». Зеленые знамена, символизировавшие примирение с Алидами, были заменены в Мерве традиционными аббасидскими черными.
Однако аль-Мамун, отмежевавшись от Али ар-Рида, не обрел для себя мира. Аббасидская верхушка в Багдаде не симпатизировала ему из-за его явной приверженности к шиизму, а в Северной Сирии близ византийской границы у покойного аль-Амина все еще было много сторонников. Аль-Мамун решил действовать более энергично. В 821 году он назначил правителем большой области, куда входили Сирия и Египет, сына своего военачальника Тахира – молодого Абдаллаха, который после тяжелой кампании взял наконец под контроль сирийских противников халифа.
Из Алеппо Абдаллах двинулся в Египет, где бежавшие из Андалузии участники мятежа в ар-Рабате (предместье Кордовы), противники кордовского эмира Хишама I, пытались найти для себя новое убежище и создавали беспорядки. В 825 году Абдаллах сумел изгнать кордовцев из Египта и направил их на завоевание находившегося под властью Византии острова Крит, что они и осуществили в 826 году.
Во время правления аль-Мамуна становилось все более ясно, что всякая попытка сохранить целостность империи обречена на неудачу. Гражданская война между аль-Амином и аль-Мамуном имела для государства трагические последствия. Испания была утеряна еще при первых Аббасидах, а теперь пришлось иметь дело с Ифрикией, на территории которой не прекращались берберские волнения.
Еще в 799 году Харун ар-Рашид, столкнувшись с беспорядками, вспыхнувшими в расположенном в этой провинции войске, вынужден был отдать Ифрикию под контроль единственному