Как военачальник и полководец Шереметев приобрел историческую известность в годы Северной войны (1700—1721). В начале этой войны наспех скомплектованные русские полки двинулись к Нарве, тогда шведской крепости. В письме царю Шереметев так описывал командиров драгунских полков, вверенных под его начало: «Плохи полковники: Федор Новиков стар и увечен, князь Иван Львов стар и вконец беден и несносно ему полком править… Ефим Гулиц-то лучше ему быть у пехоты. Девчерин… думает только о грабежах и своих прибытках…» 19 ноября 1700 г. под Нарвой русские войска, в том числе конница Шереметева, потерпели жестокое поражение. С этого момента Шереметев, как и Петр I, стал уделять особое внимание комплектованию, обучению и обустройству войск.
Получив под свое командование войска, собранные у Пскова, Шереметев по указанию царя двинулся в Лифляндию. Помня о Нарве, он вначале действовал робко, что вызвало раздражение Петра, который написал ему: «Если ты еще болен лихорадкою, полученной под Нарвою, знай, что я умею лечить от нее». Наконец, в декабре 1701 г. Шереметев принес России первую победу над шведами – в сражении у селения Эрестфер, близ Дерпта (Тарту). Шведский отряд, которым командовал генерал Шлиппенбах, не устоял перед натиском превосходящих сил противника и был разбит, потеряв около 3 тысяч человек (потери русских – около 1 тысячи). Петр I так отозвался об этой победе: «Мы дошли до того, что шведов побеждать можем, пока, сражаясь двое против одного, но скоро начнем побеждать их и равным числом». За Эрестфер Шереметев был произведен в генерал-фельдмаршалы и награжден орденом Святого Андрея Первозванного.
Затем полководец продолжал действовать против войск Шлиппенбаха в Прибалтике. В июле 1702 г. он нанес шведам более крупное поражение под Гуммельсгофом: Шлиппенбах потерял почти всю пехоту (около 5,5 тысяч человек), артиллерию и все знамена. По взятии русскими войсками Мариенгофа у Шереметева нашла приют Марта Скавронская, вдова шведского офицера, через несколько лет ставшая женой Петра I (в 1725—1727 гг. – российская императрица Екатерина I). Петр, довольный действиями фельдмаршала в Прибалтике, писал Ф. М. Апраксину: «Борис Петрович в Лифляндии гостил изрядно довольно». Двинувшись к устью Невы, войска Шереметева овладели Нотебургом (здесь отличился князь М. Голицын, решившийся на штурм крепости), в 1703 г. Ниеншанцем, Копорьем, Ямбургом, Везенбургом. В мае 1703 г. в устье Невы был заложен Санкт-Петербург – будущая столица России, а осенью на острове Котлин – крепость Кроншлот (Кронштадт).
В 1704 г. Шереметев осадил Дерпт и при участии Петра взял город, затем содействовал царю во взятии Нарвы. Плененных в Нарве шведов провели по улицам Москвы. Среди серии побед были у фельдмаршала и неудачи: в одном из сражений 1705 г. (у Мур-Мызы) он потерпел поражение, но вскоре, приведя войска в порядок, вновь перешел в наступление и взял Митаву (Елгаву)
Тяжелое бремя войны, непосильные налоги и повинности вызвали летом 1705 г. восстание в