Настала зима. Петр отравился в Воронеж и сделал распоряжение о постройке шести больших военных кораблей не в самом Воронеже, а в построенном им тогда нарочно городе Таврове; из Воронежа государь отправился в Олонец: и там у него также устроена была корабельная верфь. Он основал в Олонце железные заводы и в своем присутствии приказывал лить пушки, а весною, в марте, Петр опять уже был в Петербурге и деятельно занимался его постройкою. Ему до чрезвычайности понравилось это место, и он стал называть его своим раем (парадизом).
1704-й год был замечательно счастлив в войне со шведами. Шереметев опустошил Эстонию таким же жестоким способом, как в прежнее время Ливонию, а потом осадил Дерпт. 3-го июля сам царь прибыл к городу; 13-го русские сделали приступ, разбили ворота, и комендант Скитте сдал город со 132 орудиями, выговоривши себе свободный выход. Царь тотчас же утвердил все привилегии города, призывал жителей оставаться на своих местах и обнадеживал своею милостью. Тогда 1388 чел. шведов, положивших оружие, вступили в русскую службу. 9-го августа взята была Нарва, но здесь не так милостиво русские разделались с побежденными, как в Дерпте: комендант Горн не хотел сдаваться, и русские солдаты ворвались силою в город, истребляли и старого и малого. Петр, усиливаясь остановить напрасное кровопролитие, собственноручно заколол несколько солдат, но храброму коменданту за его упорство дал пощечину. Вслед за тем сдался Иван-город, расположенный на другом берегу реки Наровы. Осенью Петр опять занимался постройкою кораблей на Олонецкой верфи, потом заложил в Петербурге адмиралтейство, осмотрел новозавоеванные города, Нарву и Дерпт, а в декабре праздновал в Москве свои победы и возвращение России ее древних земель. Было устроено семь триумфальных ворот, через которые проезжал государь; за ним вели пленных шведских офицеров и везли взятые у неприятеля пушки и знамена.
В 1705 году Петр хотел выгнать шведов из Курляндии, сам с войском приехал в Полоцк и отправил фельдмаршала Шереметева к Митаве; другою частью войска начальствовал другой фельдмаршал, иностранец Огильви, возведенный Петром в этот сан к досаде его русских полководцев. Находясь в Полоцке, русский царь имел столкновения с униатскими монахами: посетивши униатский монастырь, он с неудовольствием увидел богато украшенный образ Иосафата Кунцевича, жестокого врага православной веры, некогда убитого народом и признаваемого униатами священномучеником. Раздосадованный ответом монаха, отозвавшегося с почтением об Иосафате, Петр приказал схватить нескольких монахов. Монахи и послушники стали сопротивляться: русские четырех убили, а одного из них, который славился своими фанатическими