Выпущен за недостатком вины, снова арестован в 1941 году как социально опасный элемент. Отец Павел вспоминал, как в ярославской тюрьме, в ночном кабинете следователя, пятна крови от бесчисленных издевательств и побоев въелись в пол. Пятнадцати заключенным, среди которых был он сам, не хватало воздуха в тесной одноместной камере, поэтому они, чтобы подышать, по очереди припадали к дверной щели у пола.
На допросах отца Павла избивали, слепили глаза. Здесь он начал терять зрение. Следователь кричал на него: «Ты, Груздев, если не подохнешь здесь в тюрьме, то потом мою фамилию со страхом вспоминать будешь! Хорошо ее запомнишь – Спасский моя фамилия, следователь Спасский!» Отец Павел вспоминал о следователе без злобы, с шуткой: «Прозорливый был, зараза. Страха, правда, не имею, но фамилию его не забыл, до смерти помнить буду. Ведь все зубы мне повыбил, вот только один на развод оставил».
Следователь добивался, чтобы он сказал, что Бога нет. «Есть, дяденька». Ему зуб выбили. Опять – скажи «нет». – «Есть, дяденька, есть!» Опять выбили. «Ну где на вас зубов напасешься?» – «Я тебя сгною». – «Не сгноил, – вспоминал отец Павел. – Я-то до сих пор жив, а он, бедный… Через два года и его, и товарищей расстреляли… Ему надо было, чтоб я сказал, что Бога нет, а Он есть».
Отец Павел вспоминал, как везли его с другими заключенными в декабре 1941 года в лагерь. Заключенные ехали в вагонах стоя – так тесно было, им ничего не давали ни есть, ни пить. Привезли и отправили в баню: «Дали по ковшичку воды – горячей и холодной, так все ковшик горячей сразу же и выпили». Такая вот банька…
Шесть долгих лет лагерей под Вяткой: голод, холод, непосильный труд. В лагере отец Павел обслуживал железнодорожную ветку, по которой из тайги вывозился лес с лесоповала. Многих людей спас он от голодной смерти, имея пропуск на свободный выход и вход в зону: «Хочу в лес иду, а хочу и вдоль леса… Но чаще в лес – плетеный из веточек пестерь в руки беру и – за ягодами. Сперва землянику брал, потом морошку и бруснику, а грибов-то! Ладно. Ребята, лес-то рядом! Господи Милостивый, слава Тебе!» Охранники концлагеря называли отца Павла «святоша».
В первую суровую лагерную зиму 1941/1942 года уголовники как-то оставили отца Павла без обеда: «Только баланды получил, несу – подножку подставили, упал. А под веничком был у меня спрятан кусочек хлебца – маленький такой, с пол-ладони, столько давали хлебца в день. Украли его! А есть хочется! Что же делать? Пошел в лес – был у меня пропуск как у бесконвойного – а снегу по колено. Может, думаю, каких ягод в лесу найду, рябины или еще чего. И смотрю – поляна. Снега нет, ни одной снежинки. И стоят белые грибы рядами. Развел костер, грибы на палку сырую нанизал, обжаривал и ел, и наелся».
Из лагеря отец Павел писал домой: «Митя, сходи к моей маме, утешь ее, пусть обо мне не расстраивается. Если ж и не вернусь, то