8 января 1660 г. московские войска под командованием воеводы И.А. Хованского по льду подошли к укреплениям города и взяли их внезапным приступом. После этого еще пять суток велась осада замка, завершившаяся успешным ночным штурмом и гибелью защитников. Хованский стоял в Бресте до весны, посылая оттуда ратных людей в глубь Польши. В занятом городе воеводе пришлось восстанавливать укрепления для защиты собственных войск. В донесении царю Алексею Михайловичу он сообщал, что «Брест верхний город укрепил я накрепко, сверх старых крепостей по земляному городу нарубил тарасы в 2 стены рублены, а вышиною 2 сажени, а в иных местах и в 2,5, а хлебных запасов года на два будет тем людям, которые оставлены, а соли и пушечных всяких запасов гораздо много, сидеть в верхнем городе бесстрашно от неприятеля, а большого города занять некем, надобеть посадить тысячи 4, а на меньшую статью 3000, и то будет неприятелю страшно».
Однако в результате Оливского мира между Швецией и Речью Посполитой, высвободившего значительные воинские силы последней, Хованский был вынужден оставить Брест. В 1661 г. в город вновь вошли польско-литовские войска. К этому времени Брест-Литовск был «весь до последнего строения разорен и сожжен», населения осталось «очень малая горсточка», погибли все члены магистрата, сгорели все архивы.
Для восстановления крепости город на четыре года был освобожден от всех налогов. Вновь отстраивались костелы и жилые дома, в 1665–1666 гг. работал даже монетный двор. Но в 1706 г. в разгар Северной войны шведские войска под командой генерала Мейерфельда захватили и разграбили Брест-Литовск, в котором размещались провиантские склады русской армии. Крепость, не выдержав осады, капитулировала. Шведская оккупация продолжалась почти шесть лет.
В результате долгих и разорительных войн, сопровождавшихся голодом и эпидемиями, Брест-Литовск пришел в упадок. Его население к середине XVIII в. составляло 1800 человек, замковые укрепление были разрушены.
Во второй половине XVIII в. Речь Посполитая, истощенная беспрерывными нашествиями, переживала тяжелый политический и экономический кризис. Государственные структуры не обладали реальной властью. Другие державы бесцеремонно вмешивались во внутренние дела страны. Шляхетство, забыв о национальных интересах, срывало сеймы и собиралось в конфедерации, магнатов не интересовало ничего, кроме укрепления личной власти. Польско-литовское