Новый папа Мартин V приказал перевести своего бывшего друга в еще более надежное узилище. 17 мая бывший папа был предан под неусыпный надзор давнего врага Коссы Людвига III, курфюрста Пфальцского, который заточил его в крепость Мангейм. Условия содержания в Мангейме были очень суровы. Коссу охраняли два немца. Узник же не знал немецкого языка, и заключение превратилось для него в пытку. Если бы не Има, которая, подкупая тюремщиков, навещала Коссу, он вряд ли бы выдержал обрушившееся на него испытание.
Отправленный в Тотлебен, Косса обнаружил, что там же содержится Ян Гус, преследование которого начал именно Косса. Но великого чеха сожгли заживо, а экс-папа через три года воспользовался политической ситуацией. Когда через несколько лет отношения между Сигизмундом и Людвигом III испортились, с помощью верной Имы Косса договорился с курфюрстом Пфальцским, что тот выпустит его на свободу за 38 тысяч золотых флоринов. Сумма была громадная, но речь шла о жизни и смерти, и торговаться не приходилось. Это была лишь малая часть состояния Коссы.
Перед отъездом на собор в Констанц, где должна была решаться его судьба, папа побывал во Флоренции, где хранил свои сокровища. Он сдал богатства на хранение доверенному человеку, и отбыл в Констанц на суд кардиналов. Святые отцы католической церкви, как мы знаем, отлучили Балтазара от папского престола, но звание кардинала за ним сохранили. Вернувшись во Флоренцию, бывший папа потребовал сокровища обратно. Но доверенный человек сделал недоуменное лицо: «Мне сдал богатства на хранение Папа Римский Иоанн XXIII. Ты же – Балтазар Косса, которому я ничего не должен». Кардинал был сражен столь откровенным вероломством. Богатства он лишился. Воистину, что посеешь…
По некоторым сведениям, человек, к которому перешло огромное состояние, принадлежал к семейству Медичи. Впоследствии оно станет одним из влиятельнейших кланов Европы, вершивших судьбы многих государств и народов. А восхождение Медичи к вершинам власти началось с вероломного захвата богатства, награбленного бывшим папой во времена его пиратской молодости.
Вместе с Имой Косса сначала перебрался в Бургундию, затем в Савойю и только потом вернулся в Италию. Он остановился в одном из городов Лигурии и отправил верную Иму с письмом к своему бывшему кардиналу, теперь папе Мартину V. На тот случай, если папа по каким-либо причинам не прочитает письмо, Име был дан наказ просить влиятельных людей во Флоренции выступить ходатаями перед Мартином V. Има исполнила все в точности, и Коссе было дозволено приехать во Флоренцию.
Бывший папа Иоанн XXIII приехал во Флоренцию и был принят Мартином V. Косса на коленях просил у папы прощения, заверяя его, что он не имеет никаких претензий к новому папе и обещает никогда не претендовать на престол Святого Петра. Но, верный себе, он попросил у Мартина V откупного. И получил – красную кардинальскую шапку. И снова стал именоваться «кардиналом Балтазаром Коссой». Мартин V назначил его епископом Тускуланским и первым