Греки и русские князья избавились от храброго изгоя; но когда нечего было бояться с юго-востока, встала рать с северо-запада: там поднялся также потомок изгоя, Всеслав, князь полоцкий, немилостивый на кровопролитье, о котором шла молва, что рожден был от волхвованья. Еще при жизни Ростислава, быть может, пользуясь тем, что внимание дядей было обращено на юг, Всеслав начал враждебные действия: в 1065 году осаждал безуспешно Псков; в 1066 году, по примеру отца, подступил под Новгород, полонил жителей, снял колокола и у св. Софии: «Велика была беда в тот час!» – прибавляет летописец: «и паникадила снял!» Ярославичи – Изяслав, Святослав и Всеволод собрали войско и пошли на Всеслава в страшные холода. Они пришли к Минску, жители которого затворились в крепости; братья взяли Минск, мужчин изрубили, жен и детей отдали на щит (в плен) ратникам и пошли к реке Немизе, где встретили Всеслава в начале марта; несмотря на сильный снег, произошла злая сеча, в которой много пало народу; наконец, Ярославичи одолели, и Всеслав бежал. Летом в июле месяце, Изяслав, Святослав и Всеволод послали звать Всеслава к себе на переговоры, поцеловавши крест, что не сделают ему зла; Всеслав поверил, переехал Днепр, вошел в шатер Изяслава и был схвачен; Изяслав привел его в Киев и посадил в заключение вместе с двумя сыновьями.
Казалось, что Ярославичи, избавившись от Ростислава и Всеслава, надолго останутся теперь спокойны; но вышло иначе. На небе явилась кровавая звезда, предвещавшая кровопролитие, солнце стояло как месяц, из реки Сетомли выволокли рыбаки страшного урода: не к добру все это, говорил народ, и вот пришли иноплеменники. В степях к востоку от Днепра произошло в это время обычное явление, господство одной кочевой орды сменилось господством другой; узы, куманы или половцы, народ татарского происхождения и языка, заняли место печенегов, поразивши последних. В первый год по смерти Ярослава половцы с ханом своим Болушем показались в пределах Переяславского княжества; но на первый раз заключили мир со Всеволодом и ушли назад в степи. Ярославичи, безопасные пока с этой стороны и не занятые еще усобицами, хотели нанести окончательное поражение пограничным варварам, носившим название торков; до смерти Ярослава I летописец не упоминал о неприязненных столкновениях наших князей с ними; раз только мы видели наемную конницу их в походе Владимира на болгар. Но в 1059 году Всеволод уже ходил на торков и победил их; потом в 1060 году трое Ярославичей вместе с Всеславом полоцким собрали, по выражению летописца, войско бесчисленное и пошли на конях и в лодьях на торков. Торки, услыхавши об этом, испугались и ушли в степь, князья погнались за беглецами, многих побили, других пленили, привели в Русь и посадили по городам; остальные погибли в степях от сильной стужи, голода и мора. Но степи скоро выслали мстителей за торков.