Абу-ль-Касим уже не называл себя махди, а скромно считал себя просто халифом и имамом, ждущим появления настоящего спасителя. Фатимиды превратились как бы в переходный этап на пути к истинному пришествию последнего пророка. Они признали шариат и превратились в еще одно мусульманское государство, державшееся уже не столько на моральном авторитете, сколько на светской власти и военной силе.
Восстание берберов, вспыхнувшее при Абу-ль-Касиме, было настолько сильным, что едва не уничтожило Фатимидов. Во главе его встал хромоногий старик, сын торговца по имени Абу Йазид, ярый хариджит, ездивший из города в город на сером осле и призывавший к свержению шиитов. Его так и называли «Человек на осле» – Сахиб аль-химар. Собравшиеся вокруг него отряды берберов стремительно завоевали всю Ифрикию и осадили единственный оставшийся у Абу-ль-Касима город – столицу аль-Махдию. Власть Фатмидов повисла на волоске. Но яростные штурмы аль-Махдии ни к чему не привели, несмотря на то, что Абу Йазид лично вдохновлял хариджитов на бой и сражался в первых рядах. В последний момент, когда у осажденных махдийцев уже не осталось никакой еды, в город прорвалась колонна с провиантом во главе с берберским вождем, поддерживавшим шиитов.
Неудачная осада расхолодила хариджитов, остывавших так же быстро, как и воспламенявшихся: ополчение стало разбегаться. Абу Йазид снял осаду, чтобы вскоре начать новую войну уже с аль-Мансуром, сыном скончавшегося аль-Каима (946). Однако под Кайруаном хариджиты были разгромлены окончательно; Абу Йазид, скрывшись в горах, пытался организовать сопротивление, но был схвачен и умер от ран. С него содрали кожу и набили соломой, превратив в чучело, с которым на потеху публике играли специально обученные обезьяны. С хариджитским восстанием, опиравшемся на берберов-кочевников, было покончено.
В тот же год аль-Мансур построил недалеко от Кайруана новую столицу – Мансурию. Власть Фатимидов к тому времени распространилась по всему Магрибу, кроме западной части – Алжира и Марокко. За эти территории постоянно шла война с Кордовским халифатом. Борьбу за дальний Магриб пришлось продолжать сыну аль-Мансура, аль-Муиззу (953–975): он совершил два похода на запад и завоевал Тахерт, Сеуту, Фес и Сильджиасу, то есть всю Западную Африку, еще остававшуюся в руках кордовских Омейадов.
Наконец, дело дошло и до Египта. После смерти Кафура власть правителей держалась на армии наемников, которая легко выходила из повиновения и разваливала государство, устраивая дворцовые перевороты. Воспользовавшись этим, Фатимиды в 969 году устроили четвертый поход против Египта, на этот раз