В 1386 году против Ягайло выступил Андрей Ольгердович. Его дружины взяли Полоцк и осадили Витебск, но взять город не смогли, и позже потерпели поражение от Ягайло.
В 1393 году Витебск, в котором засел мятежный князь Свидригайло, штурмовали войска Витовта Кейстутьевича. Через месяц осады был взят Нижний замок. Витовт «разбивал мур замку Вышнего беспрестанно», сделал проломы в стенах. Верхний замок был сдан. В 1396 году история повторилась – опять Витовт взял Витебск, выбив оттуда Свидригайло.
После смерти Великого князя Литовского Витовта править стал Сигизмунд Кейстутьевич, против которого опять выступил Свидригайло. В 1435 году полтора месяца войска Сигизмунда осаждали Витебск, в котором заперся Свидригайло. Город был взят. За всю историю Витебск разоряли более 30 раз, но город всегда восставал из пепла.
В 1440 году произошло восстание посадских людей Витебска против литовских властей. Король Казимир IV подтвердил автономию Витебска. Привилей 1441 года назвал Витебск в числе 15 главных городов Великого княжества Литовского. Привилегии Витебска были увеличены привилеями 1444 года – город получил право свободной торговли в Великом княжестве Литовском, привилеем 1447 года льготы получили не только витебская шляхта, но даже мещане. Король Казимир IV в 1451 и 1469 годах был в Витебске с проверкой состояний городских и замковых укреплений.
В 1506 году Витебск стал центром Витебского воеводства – по всему Великому княжеству Литовскому ликвидировались уделы. Воеводство состояло из двух поветов – Витебского и Оршанского. Первым витебским воеводой стал Юрий Глебович. Гербом Витебска стала «погоня» – на красном фоне всадник с поднятым над головой мечом. В 1503 и 1509 годах город получил очередные привилегии, имел свой суд и администрацию – горожане избирали войта, которого утверждал Великий князь Литовский. Витебск стал одним из «порубежных щитов» Литвы на востоке.
С начала XVI века начались русско-польские войны. С 1502 года по 1536 год окрестности Витебска были опустошены, предместья и посады выжжены 5 раз. Замок не был взят ни разу. В 1534 году Витебск не сумели взять московские войска князя Б. Горбатого. Поход повторился в следующем, 1536 году – с тем же результатом – население спасалось в замке, окрестности выжигались, людей уводили в плен. Во время Ливонской войны Витебск трижды осаждали московские войска Ивана Грозного – в 1562 и 1563 году князь А. М. Курбский штурмовал Витебск. В 1568 году Витебск штурмовали московские полки князей Шереметева, Бутурлина, Сабурова – часть города была сожжена. В 1569 году была создана Речь Посполитая. Витебск в составе Великого княжества Литовского вошел в новое государственное образование.
«Хроника Литовская и Немойтская» середины XVI века писала, что от каменных укреплений Витебска остались поврежденные стена и башня.
В 1597 году после подписания