Василию было велено остаться воеводой в Витебске и, несмотря на все просьбы об отставке – «я стар, увечен и болен», – писал он Алексею Михайловичу – царь лишь несколько лет спустя разрешил ему вернуться в Москву. Сыновья Василия, Матвей и Петр, тоже с детства были при дворе.
Матвей с четырнадцати лет был чашником царя Алексея Михайловича, а в девятнадцать лет занял пост его оруженосца, сопровождая государя в походах и поездках. Затем он становится военачальником, сменяет отца на посту витебского воеводы и участвует в войне с Польшей и Швецией. В декабре 1656 Матвей Васильевич был назначен псковским воеводой и получил приказ атаковать шведские войска, вторгшиеся на русские земли, и преследовать их «до стен Риги или Ревеля и потом сжечь и выпустошить всю страну». И уже в марте под Псково-Печерским монастырем у деревни Мигузице войска «стольника и воеводы Матвея Васильевича Шереметева… графа Магнуса и его полку неметцких людей многих побили и языки поймали».
Успехи Матвея побудил царя в июне 1657 года отправить его на выручку Афанасию Ордину-Нащокину, которого осаждал генерал Левен. И в битве под Валком, когда отряд Шереметева завяз в болоте и начал отступать, он продолжал отбиваться до тех пор, пока не упал вместе с лошадью, раненый двумя пулями в живот.
Алексей Михайлович до последнего был уверен, что Матвей Шереметев выживет. Пока тот был еще жив, царь писал своему двоюродному брату Афанасию Матюшкину: «А о Матвее не тужи, будет жив, вперед ему к чести; радуйся, что люди целы, а Матвей будет по-прежнему».
Но 10 июня 1657 года Матвей Васильевич Шереметев скончался. В память о своем полководце царь велел взять его жену, Анастасию Федоровну, у которой не было своих детей, во дворец, в «мамы» к царевне Екатерине Алексеевне, родившейся 27 ноября 1658 года.
Кроме того, как и его брат, Петр участвовал в войнах с Польшей и Швецией. В 1654 году Шереметев сопровождал царя в первом походе против польского короля Яна Казимира, во время похода на Смоленск командовал отрядом легкой конницы, следовавшим впереди главного войска для изучения местности и разведки, а в 1655 году участвовал во втором царском походе на Великое княжество Литовское, а год спустя – в походе на Ригу. Во время похода он командовал ертаульным полком – то есть занимался разведкой, двигаясь впереди основных сил, а затем два месяца оставался в Смоленске, пока там находился Алексей Михайлович, а когда после неудачной осады русские войска отступили – прикрывал со своей конницей их отход, удерживая шведов от преследования, и взяли множество пленных.
В январе 1676 года, после смерти царя Алексея Михайловича и вступления на царский престол его сына Федора Алексеевича, Милославские, родственники молодого царя, решили удалить