Современники-россияне так живописали его портрет: «высокий, красивый мужчина, с правильными чертами лица, открытым взглядом, мягким голосом, с привлекательными манерами, приятный в общении», отмечая такие его особенности как любезность и выдержка. Лестно отзывались о нем и иноземцы, называя его «наиболее культурным человеком в стране» и даже «украшением России». При этом Шереметев был начисто лишен самохвальства и чванства. Иногда, проезжая по улицам Москвы в золоченой карете четверней, окруженный гайдуками и скороходами, он замечал идущего пешком бравого офицера, ранее служившего под его началом; тогда он приказывал остановить карету, выходил из нее и шел пожать руку своему старому товарищу по оружию. Такая открытая приветливость знатного вельможи древнего рода сильно контрастировала с надменностью «полудержавного властелина», сына конюха Меншикова, высокомерного и заносчивого.
Личная жизнь Шереметева сложилась непросто. Историк XVIII века Герард Фридрих Миллер писал: «Борис Петрович не токмо воинскими подвигами, но и любовными предупредил несколько свои лета», женившись в 1669 году, всего семнадцати лет от роду. Зато вторая женитьба Шереметева, осуществленная по велению Петра I (в ответ на просьбу первого постричься в монахи), состоялась поздно, а именно, когда овдовевшему Борису Петровичу было уже 62 года. Царь самолично нашел ему жену, не только молодую и красивую, но еще и свою родственницу – 26-летнюю вдову Анну Петровну Нарышкину. От этого брака у Шереметевых родилось пятеро детей.
Шереметев, так же, как и другие первосановники того времени – граф Федор Апраксин, канцлер граф Гавриил Головкин, боярин Тихон Стрешнев, давал дома роскошные открытые обеды для царя и дворянства. За столом у него ставилось не менее 50 приборов, даже в походное время; при этом принимался всякий, званый и незваный, одетый по-европейски, только с условием: не чиниться перед хлебосольным хозяином. Слава об этих обедах облетела страну; так что в языке эпохи появилось даже крылатое выражение «жить на Шереметев счет» для обозначения дарового существования.
В то же время князь Михаил Щербатов говорит о Шереметеве чуть ли не как о разорившемся человеке: «Фельдмаршал, именитый своими делами, обогащенный милостию монаршею, принужден, однако, был вперед государево жалование забирать и с долгом сим скончался, яко свидетельствует самая его духовная. И после смерти жена его подавала письмо государю, что она от исков и других убытков пришла в разоренье». Другие же исследователи, наоборот, называют детей Бориса Петровича наследниками самого большого состояния в России. Факты свидетельствуют о том, что Шереметев был богатейшим землевладельцем. Так, уже в 1708 году он владел 19 вотчинами, в которых было 5282 двора и 18 031 крепостной. Историк Николай Павленко пишет: «Реальные доходы Шереметева решительно опровергают его жалобы… Общий доход помещика Шереметева с вотчин, надо полагать, составлял никак не менее 15