Политические потрясения разрушили «пузырь Байи». Великий скачок Мао, радикальная программа, запущенная в 1958 году для преобразования аграрного общества в промышленную державу, вместо этого разрушила сельское хозяйство и вызвала массовый голод, в результате которого погибли десятки миллионов человек. Даже относительная роскошь Байи не смогла уберечь студентов от голода во время Великого голода 1959–1961 годов. Некоторые вспоминали, что ели испорченные булочки и блюда из несвежего зерна, загрязненного крысиными экскрементами.
Экономическая катастрофа разжигала междоусобицы в партии. Высшие руководители пытались обуздать радикальную политику Мао. Мао и его сторонники наносили ответные удары, строя интриги против предполагаемых соперников. Си Чжунсунь пал жертвой осенью 1962 года, когда руководство очистило его за якобы руководство антипартийной кликой, стремившейся захватить власть.
Предполагаемым доказательством заговора Си стала его поддержка публикации романа, посвященного революционному мученику Лю Чжиданю. В книге были персонажи, созданные по образцу Си и другого выдающегося революционера, Гао Гана, который сражался вместе с Лю на северо-западе Китая до того, как Лю был убит в 1936 году. Си тесно сотрудничал с Гао до середины 1940-х годов, хотя их пути разошлись к тому времени, когда Гао был очищен в 1954 году за попытку сместить двух других партийных старейшин. Имя Гао стало нарицательным для предательства, и в конце того же года он покончил с собой.
Начальник службы безопасности Мао, Кан Шэн, осудил роман как манифест Си Чжунсуня и его предполагаемых соучастников. «Использовать роман для ведения антипартийной деятельности – это крупное изобретение», – написал Кан в записке Мао, который зачитал ее вслух на заседании ЦК и фактически осудил Си. Несмотря на протесты Си о его невиновности, партия лишила его постов и отменила почти все официальные льготы, которыми пользовалась его семья.
Си эмоционально тяжело переживал свое падение, и Чжоу Эньлай сказал Ци Синь проследить за тем, чтобы ее муж не пытался навредить себе, согласно историку Джозефу Торигяну, который ссылается на мемуары, неопубликованные дневники и интервью с друзьями семьи. В своем эссе Ци вспоминала, как ее муж молча сидел в гостиной с выключенным светом, что озадачило их младшую дочь Ань, которая спросила: «Папа, в чем дело?». Их младший сын, Юаньпин, спросил: «Папа, почему ты не едешь в Чжуннаньхай?»
Одноклассники Си Цзиньпина по Байи, скорее всего, подвергли его остракизму. Партия классифицирует людей по их «цзечжи чэнфэн», концепции классового статуса, схожей с кастовой системой, и падение Си Чжунсуня запятнало его семью. Лю, выпускник Байи, вспоминал о своем однокурснике, чье заявление о вступлении в Коммунистическую молодежную лигу