В 1386 году вместе со своим старшим братом Ягайло Свидригайло ездил в Краков, где принял католичество под именем Болеслав. Свидригайло был женат дважды на руських православных княжнах. Согласно Леонтию Войтовичу, первым браком Свидригайло женился на дочери удельного князя Смоленского Ивана Святославича, а вторично на Анне Ивановне, дочери удельного князя Старицкого Ивана Ивановича. Согласно другим сведениям, Свидригайло первым браком был женат на Елене Юрьевне, дочери великого князя Смоленского Юрия Святославича (1401—04), а вторым – на Анне Борисовне, дочери своего союзника, великого князя Тверского Бориса Александровича (1426—61).
Как сообщает хроника Быховца, Свидригайло получил в удельное владение города Витебск и Крево после смерти отца, где жил с матерью. В 1393 году Витовт решил присоединить Витебск к своим владениям и назначил туда своего наместника, сокольничего Федора Весну, любимца Ягайло. Но Свидригайло легко захватил Витебск и убил Весну, сбросив того с крепостной стены, и Витебское княжество перешло вновь под его власть. Тогда же на его сторону перешли Друцк и Орша. Ягайло не мог допустить потери своего родового владения и попросил великого князя отомстить за обиду. Витовт с большой охотой взялся за дело.
Князь Свидригайло. Гравюра из «Описания Европейской Сарматии», 1581 г.
Получив помощь из Польши, сначала двинулся на Друцк. Местные князья принесли Витовту клятву о вассальной покорности. За это он оставил за ними все прежние владения, но уже как пожалованные великим князем. Затем он заставил капитулировать Оршу после двухдневной осады, поставив в ней своего наместника, пополнил армию отрядами из Друцка и Орши и осадил Витебск, в котором находился Свидригайло. На помощь Витовту пришел Юрий Святославич Смоленский. Четыре недели длилась осада Нижнего замка в Витебске, пока ядра бомбард не разрушили его. Заняв его, начали готовиться к штурму Верхнего замка, но витебцы сдались, так как у них закончилось продовольствие. Витовт приказал снять крышу с Благовещенской церкви, поднять наверх орудия и продолжить оттуда обстрел Верхнего замка. Орденская хроника так повествует об осаде Витебска: «Хотели также новым рвом отвести воду от стен замка и начали копать его, но много пруссаков было ранено. Поэтому кинули работу, оставив рвы, как были раньше. Выбили пролом в стене, через который, как ласточки, литвины вылетали и возвращались с копьями и мечами, убивая христиан. Литвины вновь поправляли пробитую стену, придумывали разные хитрости, которыми дразнили войско. Бежали до шанцев, будто бы хотели их поджечь, уже установили пушки для стрельбы по христианам. От камней и стрел много христиан потерпело, а войско было вынуждено отступить». Так окончательно было ликвидировано Витебское княжество.
В конце концов Свидригайло был заключён под стражу и в кандалах отправлен в Краков, ко двору Ягайло. Тот помиловал своего мятежного брата и освободил из тюрьмы. Несколько лет Свидригайло проживал в почётном