Не вызывал большого сожаления и тот факт, что в 33 году, когда начались беспорядки, убили его брата Друза, которого держали в заточении в подземелье дворца. И все же, когда император рассказал своим друзьям, что молодой человек, измученный пытками и после этого лишенный пищи, попытался продлить свою жалкую жизнь, поедая набивку своего матраса, многие были шокированы. Общее мнение сводилось к тому, что Друз безумен и к его болезни следует относиться с уважением.
Мать обоих мальчиков оставалась в изгнании, пока они оба не умерли. Говорили, что после того, как император выбил Агриппине глаз во время рукопашной схватки, вспыхнувшей во время одного из его посещений, она объявила голодовку и ежедневно боролась с теми, кто пытался кормить ее насильно, пока ее сердце не ослабело настолько, что она умерла.
Таким образом, единственной альтернативой Гемеллу в качестве преемника Тиберия остался третий сын Агриппины Калигула. Однако, учитывая тот факт, что он обладал жутко извращенной натурой, кроме того, был подвержен припадкам, Тиберий так и не решился объявить Калигулу своим наследником, хотя давал понять, что намерен это сделать.
Пожилой император всегда смотрел на юношу с подозрением и однажды, когда заметил неприязненный взгляд, брошенный Калигулой на его кузена и соперника Гемелла, воскликнул: «Однажды ты убьешь его!.. А потом кто-нибудь убьет тебя!» Когда Тиберий говорил это, в его глазах стояли слезы, потому что он был сыт по горло ссорами и интригами, которые привели к смерти так много его родственников и друзей. Теперь, когда старость лишила его способности получать удовольствие, причиняя другим боль, он искренне желал уехать из Рима в какое-нибудь мирное убежище.
В начале 37 года в семье возникли новые проблемы. Агриппина (Младшая) была вынуждена мириться с бесконечными изменами своего мужа Гнея, но теперь она узнала, что он и его рыжеволосая сестра Домиция Лепида состояли в кровосмесительных отношениях. Вероятно, по наущению Агриппины он был публично обвинен и в этом, и в адюльтере в целом, к чему добавилось обвинение в измене старому императору Тиберию. Однако все знали, что Агриппина сама в давние годы состояла в таких же отношениях со своим братом, жутким извращенцем Калигулой, и, возможно, поэтому обвинению против Гнея не дали хода.
До конца своих дней Тиберий не мог принять решение о преемнике. Его озадачивал противоречивый характер Калигулы. Временами этот молодой человек казался скромным, почтительным и даже сильно занятым своими обязанностями. Но в другое время бывал груб и несдержан, а его буйная