Италийское население встречало византийцев как освободителей от готского ига. Часть готских гарнизонов также перешла на службу императору. Сменивший Феодагата новый король Витигес потерпел поражение в сражении у Равенны, сдался в плен и кончил свои дни в Константинополе при дворе императора, где он получил сан патриция.
Византийский налоговый гнет восстановил значительную часть населения Италии, как готского, так и романского, против императора. Новый король готов Тотила в 541 году сумел собрать новую армию и изгнать 12-тысячное византийское войско почти из всех городов Апеннинского полуострова. Рим несколько раз переходил из рук в руки и превратился в груду развалин.
После ряда неудач Велизарий был отозван из Италии. Его заменил армянин Нарсес, который разгромил Тотилу в битве при Тегинах в Умбрии в 552 году. В этом сражении 15-тысячной армии готов противостояла византийская армия в 20–30 тысяч человек. Атака готской кавалерии была отражена пешими византийскими лучниками, тогда как конные византийские лучники нейтрализовали пеших лучников противника. После этого поражения Тотила был убит в ходе преследования. В этой битве, где сражалась в основном кавалерия, пало до 6 тысяч готов. Отступавшая готская конница смяла собственную пехоту. После этой победы Нарсес окончательно занял Рим. Остатки готской армии, бежавшие с поля боя при Тегинах, выбрали королем племянника Тотилы Тейю. Он погиб в битве у Везувия в конце 552 года. Начальник готского флота перешел на сторону византийцев, и Нарсесу удалось блокировать лагерь Тейи, который, в свою очередь, стремился деблокировать гарнизон города Кумы, где находилась готская казна. Недостаток провианта заставил Тейю принять неравную битву.
После поражения большинство уцелевших готов по соглашению с Нарсесом навсегда покинули Италию. Борьба с оставшимися готскими отрядами и вторгавшимися в Италию племенами аламаннов и франков, а также с прежними византийскими союзниками герулами продолжалась до 554 года. В 556 году Нарсес вытеснил франков из Северной Италии. Страна была разорена 20-летней войной и поборами обеих армий. Рим оставался в запустении вплоть до эпохи Возрождения.
В 554 году византийские войска, покончив с остготами, высадились в Испании и нанесли поражение армии Вестготского королевства. Однако сокрушить его византийцы не смогли и ограничились завоеванием лишь юго-восточной части Пиренейского полуострова, прилегающей к Средиземному морю, с городами Новый Карфаген (Картахена), Малага и Кордова. Основную часть вновь завоеванных территорий Византии удалось удерживать в течение 50–70 лет.
Войны Юстиниана серьезно расстроили финансы