Шли годы пребывания Джема в плену, полные тоски. В неприступной крепости, в Бурганёфе, которая сохранилась до наших дней, жизнь в ссылке, в окружении лишь нескольких слуг, стала тяготить его, и интерес к продолжению вражды с братом ослабел. После того как он прибыл в Рим, значительные суммы тратились на его содержание, но Джем ничего не хотел так сильно, как вернуться на родину или хотя бы, писал он, прожить остаток жизни в Иране, арабских странах или Индии. Несмотря на туманную перспективу крестового похода, он не смог, как сказал папе, отказаться от своей веры, «даже ради власти над миром». В письмах, доставлявшихся Баязиду из Рима, Джем выражал свое сильнейшее желание покинуть тюрьму и, видимо, был вполне искренен, когда писал, что готов забыть о разногласиях между ними и поклясться в верности брату.
Будучи пленником в Риме, Джем, возможно слышал о драме, разыгравшейся вдалеке от его родины, отзвук которой докатился и до Стамбула. 2 января 1492 года город Гранада в Андалузии на юге Испании, резиденции исламской династии Насридов, сдался армиям Фердинанда Арагонского и Изабеллы Кастильской; месяц спустя в Риме была проведена пышная церемония, чтобы отпраздновать испанскую победу. Память о падении Константинополя была еще свежа в умах христианского мира, а победа над «маврами» приветствовалась как реванш за множество бед, пережитых по вине османов. Султан Мехмед II принял делегацию андалузских мусульман, искавших его защиты, в 1477 году, за год до официального начала действия испанской инквизиции, а Баязид предоставил им убежище после падения Гранады. Хотя никто не принуждал делать выбор до 1501 года, многие приняли его предложение, и в течение нескольких лет три большие церкви в Фессалониках были превращены в мечети, в которых проходили службы для тех, кто принял османское убежище. После многих превратностей судьбы остатки андалузской мусульманской общины были вытеснены с Иберийского полуострова между 1609 и 1614 годами.
Евреям из Испании, называемым сефардами, повезло меньше. Они находились под давлением задолго до начала инквизиции,