Через несколько дней Гальдера отправили в концентрационный лагерь Равенсбрюк-Фюрстенберг, где было собрано некоторое количество военных, арестованных по подозрению в подготовке переворота. В середине августа гестапо также арестовало его жену и одну из дочерей – Ирмингард Зейдерер: жена попала в Равенсбрюк, дочь – в Моабитскую тюрьму. 7 октября Гальдера перевезли в Берлин и поместили в тюрьму РСХА, расположенную в печально известном здании на Принц-Альбрехтштрассе. Следствие перешло к стадии допросов. Однако никаких особых обвинений ему предъявить не смогли: все сведения об антинацистских настроениях Гальдера относились исключительно к довоенному периоду и «привязать» его к заговору 20 июля 1944 года не удалось.
Пока еще не было известно, будет ли ему предъявлено обвинение, руководство ОКХ предприняло ряд мер, которые в будущем могли бы облегчить действия карательных органов. Бюрократические жернова мелили медленно, и только 31 января 1945 года – через семь месяцев заключения – генерал-полковник Франц Гальдер был официально уволен с действительной военной службы с запрещением носить военную форму. (Кстати, именно этот приказ, а не сам факт ареста, больше всего расстроил Гальдера. Запрещение носить мундир находившийся в заключении генерал воспринял как личное оскорбление.) Теперь в случае чего Гальдер подлежал суду Народной судебной палаты, а не Имперского военного суда. Следовательно, если бы процесс состоялся, никакой надежды на хотя бы внешне справедливый приговор не было. Но обвинение Гальдеру так и не предъявили.
Во время налета американской авиации на Берлин 31 января 1945 года здание на Принц-Альбрехтштрассе, в подвалах которого содержался Гальдер (а также другие арестованные), было сильно повреждено. Через два дня состоялся еще один налет, после которого содержать здесь арестованных стало просто невозможным. В связи с этим Гальдер и другие заключенные были перевезены на юг Германии, в концентрационный лагерь Флоссенбург. 9 апреля Гальдера перевели в Дахау, где он попал в специальный флигель для привилегированных заключенных. Здесь он, кстати, встретился со своей супругой. Положение заключенных в Дахау было значительно более либерально, чем в том же Флоссенбурге, они даже имели возможность общаться друг с другом. В общем в Дахау уже оказались те, против кого особо серьезных обвинений не было: они считались «врагами государства», но не столь опасными, чтобы их уничтожать, их надо было лишь изолировать от общества.
Перипетии Гальдера в последние дни Третьего рейха напоминали авантюрный роман. Американские войска быстро продвигались к Мюнхену, а оттуда до Дахау было всего с полчаса на машине. Поэтому руководство концлагеря получило приказ вывезти особо важных заключенных подальше от военных действий. Два транспорта отправились из лагеря 24 и 27 апреля. Они миновали Розенхейм, Инсбрук и 28 апреля прибыли в деревушку Нидердорф, располагавшуюся вблизи от южнотирольского городка