После овладения Нотебургом русское войско двинулось к крепости Ниеншанц, расположенной на правом берегу Невы при впадении в неё р. Охты. И здесь отличилась артиллерия. Под её ударами 30 апреля (11 мая) 1703 года гарнизон капитулировал ещё до начала штурма. Русская армия овладела устьем Невы и выходом в Балтийское море. Крепость Ниеншанц была срыта, а 16 (27) мая 1703 года ближе к морю, на Заячьем острове, была заложена Петропавловская крепость, положившая начало строительству Санкт-Петербурга. Открывалась возможность для налаживания торговых связей с другими странами. Для прикрытия подступов к устью Невы и Санкт-Петербургу построили крепость Кронштадт. Под руководством Якова Вилимовича здесь была установлена 60-орудийная батарея, державшая под своим прицельным огнём подступы к крепости.
Непростые задачи русскому воинству предстояло решать в очередной битве за Нарву. К маю 1704 года ее гарнизон насчитывал свыше 4500 человек и более 400 орудий. Под руководством П. М. Апраксина (Брюс прибыл к Нарве уже после начала осады) под Нарвой было сосредоточено немногим более 150 орудий, из которых треть была умело расположена на линии главной атаки, где было достигнуто превосходство над шведской артиллерией (северо-восточный участок крепости). В августе 1704 года в результате 9-дневной бомбардировки артиллерия Брюса разрушила многие крепостные укрепления, в том числе один из важнейших бастионов – «Гонор», у которого 6 августа в ров опрокинулся целый фас с бруствером, валом и орудиями, а также городские постройки. Точные попадания российских пушкарей в тот же день разрушили бастион «Виктория», на котором было уничтожено 69 из 70 вражеских орудий. Всего за время бомбардировки по шведским укреплениям было выпущено 18 000 снарядов, израсходовано свыше 10 000 пудов пороха. 9 августа 1704 года русская пехота пошла на штурм крепости. Разрушения, потери в войсках, моральное воздействие на противника огневых ударов русской артиллерии и ярость штурмующих были столь велики, что гарнизон не мог оказывать длительного сопротивления, и вынужден был капитулировать.
Взятие в 1704 году Дерпта (Тарту) и Нарвы было первым крупным успехом петровской армии, в том числе ее неотъемлемой части – артиллерии, служившим предвестником грядущих славных побед.
Присмотревшись к первым боевым делам Брюса по руководству артиллерией, в ноябре 1704 года (по данным историка М.Д. Хмырова) Петр I именно ему поручает управление всеми артиллерийскими делами и ставит во главе центрального органа управления артиллерией – Приказа артиллерии, без наименования генерал-фельдцейхмейстером, т. к. находящийся в шведском плену царевич А.А. Имеретинский был еще жив и законодательно имел чин генерал-фельдцейхмейстера.
Война с сильным противником только начиналась. Характер боевых действий, походные условия на театре Северной войны свидетельствовали о необходимости иметь при начальнике