Но и этого было недостаточно. Вскоре Винсента затянуло в привычный замкнутый круг самобичевания и самоуничижения. Он отказывал себе в любой пище, кроме хлеба без масла, жидкой рисовой каши и подслащенной воды. Он перестал заботиться о своем внешнем виде, мылся от случая к случаю и посреди зимы нередко выходил на улицу без пальто. Точно так же как раньше, в Амстердаме и Брюсселе, он считал, что ведет чересчур роскошную жизнь, и потому съехал от Дени в расположенную неподалеку маленькую заброшенную хижину с соломенной крышей. Он отказывался спать в удобной постели и неспроста осведомился у Дени, какое дерево самое твердое, вероятно намереваясь достать для своего лежака именно такую доску. Развесив на стенах хижины репродукции из своей коллекции, он с каждым днем все более уходил в себя. В светлое время суток Винсент ухаживал за больными и ранеными, а по вечерам читал, курил, штудировал Библию и подчеркивал любимые отрывки в сборнике духовных песен. Он так исхудал, что жена Дени начала опасаться, как бы он не заразился свирепствовавшим вокруг тифом.
Дени и остальные члены прихода считали хижину неприемлемым жильем для проповедника и возмущались «религиозным помешательством» Винсента. Он же в свою защиту цитировал, вслед за Фомой Кемпийским, Святое Евангелие: «Сын Человеческий не имеет, где преклонить голову», однако его обвинителям сравнение казалось богохульством. Разочарованные его проповедями, шокированные эксцентричным переездом, упрямым нежеланием прислушиваться к советам и даже его маниакальной помощью больным, прихожане обратились в Брюссель, в Евангелический комитет, с просьбой прислать инспектора и рассмотреть вопрос о назначении нового проповедника, что уже прямо грозило Винсенту увольнением. Всего через месяц после начала новой жизни он вновь оказался перед лицом неизбежного провала.
Родителей эта новость не застигла врасплох. Письма сына с рассказами об ужасных увечьях, эпидемиях и вылазках на угольные шахты давно вызывали беспокойство Доруса и Анны. Дорус опасался, что, «чересчур увлекшись присмотром за больными и ранеными», Винсент не имеет возможности достойно выполнять возложенные на него религиозные обязанности. Анну больше тревожил внешний вид сына, ведь «там кругом такая грязь». Кроме того, они получили письмо от мадам Дени, которая подробно описала ту жалкую жизнь, на которую обрек себя Винсент. Он и сам подтвердил опасения матери, сообщив, что действительно обходится «без кровати, постельного