Императорский дом пытался сопротивляться. С этой целью еще в конце X века был учрежден институт курандо, нечто вроде личного секретариата при императоре, позволившего императорскому двору действовать в обход государственного аппарата, целиком подчиненного Фудзивара. Институт курандо был, в сущности, уже первым шагом на пути к двоевластию. Но еще более причудливые формы организации политической власти возникли в XI веке, когда была создана так называемая система «инсэй» – «монастырского правления». Суть ее заключалась в том, что, стремясь освободиться от диктата всесильных Фудзивара, император добровольно отрекался от трона в пользу наследника, как правило – ребенка, зачастую не достигшего даже десятилетнего возраста, а сам, приняв монашеский сан, как бы удалялся от мира (резиденция такого экс-императора образно именовалась Приютом отшельника). Однако на деле этот император-отшельник имел свой двор, отдельный от императорского двора, свой штат придворных, свою дворцовую стражу и прочие атрибуты власти. Отсюда, из Приюта отшельника, он пытался по-своему управлять государством. Отношения между двором царствующего императора-ребенка, при котором Фудзивара по-прежнему исполняли должность регента, и Приютом отшельника, двором императора-монаха, фактически носили антагонистический характер. Борьба шла за ключевые должности в общегосударственном и провинциальном административном аппарате, за отторжение земель, за превращение их в личную собственность и т. д. Немалую роль играли и династические распри.
Система «инсэй» оказалась эффективным орудием в руках императорского дома, позволив ему постепенно ослабить засилье рода Фудзивара; в XII веке, в особенности начиная с его середины, власть дома Фудзивара окончательно ослабела. Это не означало, однако, что победа осталась за императорским домом. К этому времени на исторической сцене появился новый грозный противник.
До сих пор борьба шла внутри аристократии, будь то императорский дом Сумэраги или старинный род Фудзивара: теперь господству и тех и других в равной степени положил конец новый протагонист – воинское сословие, самураи. Но прежде чем окончательно вырвать власть из рук старинной родовой аристократии, самурайству в лице его наиболее могущественных представителей, феодальных домов Тайра и Минамото, предстояло решить спор между собой. Решающая схватка развернулась в 80-х годах XII века, хотя соперничество между этими двумя домами началось еще несколько десятилетий