Император не собирался сдаваться. На Пасху 1076 г. произошло невиданное событие – епископ Утрехта отлучил от церкви самого папу. Последний нашел опору в лице германских феодалов. Летом 1076 г. они выступили против Генриха в Саксонии. Оппозиция императору формировалась под руководством родственника короля швабского герцога Рудольфа. Мятежные феодалы вызвали Григория на рейхстаг, назначенный на начало февраля 1077 г. в Аугсбурге, чтобы там провести суд над императором. Генрих понял, что ему удастся спасти свой трон только в том случае, если он получит от папы отпущение грехов. Поэтому в конце 1076 г. он вместе с женой, ребенком и своими епископами переправился через Альпы. В это время Григорий готовился к поездке в Германию, чтобы на заседании рейхстага принять участие в переговорах с курфюрстами.
В январе 1077 г. состоялся один из ярчайших эпизодов в средневековой истории. Генрих IV явился к папе в замок Каносса на севере Италии. Он три дня простоял перед воротами в одежде кающегося грешника, накинутой поверх королевского одеяния, с женой, ребенком и несколькими епископами. Только после этого Генриху было позволено войти и на коленях просить прощения у папы. Григорий VII заставил императора в присутствии аббата из Клюни и могущественной графини Матильды Тосканской признать себя не правым, «отказаться от гордыни» и смириться перед церковью. 28 января Григорий принял императора обратно в лоно церкви. Новой доктриной отношений светской власти с папой стал составленный, возможно, самим Григорием или его соратниками «Диктат папы».
Этот документ постановлял, что папе одному принадлежит право назначения, перемещения и смещения епископов, разрешения важных юридических споров, созыва соборов, суда и наложения на императора и князей церковных наказаний, возложения на императора знаков отличия. Никто не имел права судить папу. Короли не имели права передавать власть по наследству, а выбирались, причем главенствующая роль в определении достоинств кандидата должна была принадлежать понтифику.
Выражение «ходить в Каноссу» до сих пор употребляется в значении «унижаться». Это была самая большая победа Григория VII. Однако она оказалась временной. Некоторые историки даже полагают, что Генрих, разыграв спектакль и вынудив папу вернуть ему королевское достоинство, выиграл больше, чем папа. Поддерживаемые папой германские короли быстро забывали о своем союзнике и покровителе и начинали защищать свои права в отношении инвеституры. Сильная и независимая церковь в собственном государстве никому из них была не нужна. Да и особой покорности Григорию не изъявляли и сами сильные немецкие епископы. В конце концов император Генрих IV отказался от каносского покаяния и возвел на папский престол антипапу – епископа равеннского Виберта под именем Климента III.
Легаты папы продолжали вмешиваться не только в церковные, но и в светские дела по всей Европе. Григорий состоял в переписке