В службу Яков Брюс вступил в 1686 году корнетом (прапорщиком) кавалерии. Он участвовал в неудачных крымских походах князя Василия Васильевича Голицына в 1687 и 1689 годах в качестве инженерного офицера. За первый крымскией поход храбрый шотландец был награжден поместьем в 120 четвертей земли и деньгами в размере от 8 до 30 рублей, а за второй поход получил в награду поместье в 130 четвертей земли и 15 руб. денег. Во время стрелецкого бунта 1689 года Петр неожиданно уехал из Преображенского в Троице-Сергиеву лавру. Отрядом иноземцев, в котором служил поручиком Я. В. Брюс, командовал шотландец генерал Патрик Гордон. Прибытие в монастырь отряда Гордона состоялось 5 сентября 1689 года. Вероятно, в этот день Петр и познакомился с Брюсом. С тех пор и завязалась их дружба. Ей немало способствовало и то обстоятельство, что шотландец не уступал «герру Питеру» в пьянстве и разгуле. В 1692 году Брюс был назначен в Белгородский полк, которым командовал будущий фельдмаршал и граф Б. П. Шереметев.
Троице-Сергиева лавра. Вероятно, здесь 5 сентября 1689 года познакомились Петр и поручик Я. В. Брюс. С тех пор и завязалась их дружба
В 1693 году пожалованный в ротмистры (капитаны кавалерии) Яков Брюс сопровождал Петра в Архангельск, где царь закладывал первые верфи. А в январе 1695 года Петр произвел Брюса в чин майора, и тогда же, в январе 1695 года, Яков Вилимович женился. Его избранницей стала Маргарита фон Мантейфель (в России ее величали Мария или Марфа Андреевна), дочь генерала Цоге фон Мантейфеля, выходца из остзейских немцев. Посажёным отцом на свадьбе был сам царь.
В 1695 и 1696 годах Брюс участвовал в Азовских походах, завершившихся взятием турецкой крепости. Теперь он уже был морским капитаном и за храбрость при штурме Азова был пожалован чином полковника. Под Азовом погиб его младший брат Вилим. Во время осады Азова