Около 1714 года возник слух о хищении им казенных денег, и хотя впоследствии по розыску слух подтвердился, но гнева Петра на него не навлек.
После смерти Петра Брюс сначала так же деятельно продолжал свои занятия и по коллегиям, и по артиллерии: но впоследствии стал просить отставки, которая ему и дана была в 1726 году с чином фельдмаршала.
С этого года он поселился в своем поместье Глинках, Богородского уезда, в 42 верстах от Москвы, и жил там до конца своей жизни, изредка наезжая в Москву и предаваясь исключительно научным занятиям. Умер 19 апреля 1735 года, не оставив потомства. Погребен в Немецкой слободе.
От него остались, как памятник его занятий, библиотека и кабинет разных «куриозных вещей», который в то время почитался единственным в России. Перед смертью он завещал их в Кунсткамеру Академии Наук.
Ходили слухи, что он создал эликсир вечной молодости и погиб, когда испытывал его. Слуга должен был разрезать его на куски, а потом полить эликсиром. Но в комнату для опытов ворвалась супруга Брюса и похитила эликсир. Это, естественно, только легенда.
Ему же приписывают создание вечных часов и механической птицы, на которой он летал по ночам над Москвой. Брюс также «отводил глаза», то есть владел гипнозом. Но это уже совсем другая история…
Алексей Мусин-Пушкин
Хозяином дома был Алексей Иванович Мусин-Пушкин, сын гвардии капитана Ивана Яковлевича Мусина-Пушкина. Граф, государственный деятель, коллекционер, археограф и историк. Член Российской академии (1789). Окончив Артиллерийское училище, до 1772 года служил адъютантом при Григории Орлове, благодаря чему стал известен Екатерине II.
Алексей Иванович был женат с 1781 года на Екатерине Алексеевне Волконской (1754–1829), дочери генерал-майора князя Алексея Никитича Волконского. И они к Брюсам никакого отношения не имели.
Утверждают, что «Слово о полку Игореве» было найдено в Спасо-Ярославском монастыре и издано в 1800 году собирателем российских древностей графом Алексеем Мусиным-Пушкиным, библиотека которого позже сгорела в московском пожаре 1812 года. Таким образом, единственная рукопись этого произведения считается безвозвратно утраченной.
Мусин-Пушкин начал собирать свою библиотеку с 1775 года, и к моменту ее гибели в пожаре 1812 года в ее состав вошли: архив комиссара Крекшина, приобретенный у букиниста; летописи, подаренные графом Головкиным; различные книги и летописи и собственноручные черновые бумаги, подаренные Екатериной II; летописи и книги, завещанные Новгородским архиепископом Аполлосом Байбаковым; книги, летописи и рукописи, полученные из монастырских библиотек и подаренные духовными и светскими частными лицами из собственных библиотек,