Окружение Ракоши было очень слабое. Ни Центральный Комитет, ни Политбюро не находились на нужном уровне. Люди, вроде Хегедюша, Кадара, старики вроде Мюнниха и молодняк, не прошедший испытание партийной и боевой жизни, с каждым днем все больше ухудшали направление дел и, наконец, были опутаны титовско-хрущевской паутиной.
Вся эта авантюра подготавливалась лихорадочными усилиями. Оживилась и подняла голову реакция, она говорила и орудовала в открытую. Лжекоммунист, кулак и изменник Имре Надь, прикрываясь маской коммунизма, стал знаменем борьбы против Ракоши. Этот последний почувствовал опасность, грозившую партии и стране, и уже принял меры против Имре Надя, исключив его из партии к концу 1955 г. Но было слишком поздно: паутина контрреволюции крепко опутала Венгрию, так что эта страна проигрывала битву. Ракоши атаковали и Хрущев, и Тито, и центр Эстергома, и внешняя реакция. Анна Кегли, Миндсенти, графы и бароны на службе у мировой реакции, скопившиеся в самой Венгрии, в Австрии и других странах, организовывали контрреволюцию, засылали оружие для того, чтобы перевернуть все вверх дном.
Клуб «Петефи» стал центром реакции. Это был якобы клуб культуры Союза молодежи, но фактически под носом у самой венгерской партии он служил вертепом, где реакционная интеллигентщина не только болтала против социализма и диктатуры пролетариата, но и подготавливалась, организовывалась, причем до такой степени, что наконец она в виде ультиматума кичливо предъявила свои требования партии и правительству. Первоначально, пока у руководства стоял Ракоши, были сделаны попытки принять некоторые меры: посредством резолюции Центрального Комитета был осужден клуб «Петефи», были исключены из партии один или два писателя, однако все это было скорее всего щипками, и отнюдь не радикальными мерами. Вертеп контрреволюции продолжал существовать и несколько позже, почти все те, кто был осужден, были реабилитированы.
Ниспровергнутый Имре Надь сидел как паша в своем доме, который он превратил в место приема своих сторонников. Среди них были члены Центрального Комитета Венгерской партии трудящихся. Венгерские руководители смущенные ездили в Москву и обратно, тогда как их так называемые товарищи в Центральном Комитете, вместо того чтобы принимать меры против поднимавших голову реакционных элементов, ходили домой к Имре Надю и поздравляли его с днем рождения. Низкопоклонники Ракоши стали низкопоклонниками Надя и расчистили ему путь к власти.
Однако решение ниспровергнуть Ракоши было принято не в Будапеште, а в Москве и Белграде. Он был сломлен, не смог устоять перед давлением хрущевцев и титовцев, как и перед кознями их агентур в венгерском руководстве. Ракоши заставили подать в отставку якобы «по состоянию