Мануфактура тем не менее расширялась. В 1745–1747 гг. Суконный двор был перестроен, возможно, под руководством опытного зодчего И.Ф. Мичурина. Он получил вид вытянутого вдоль Всехсвятской улицы каре из двухэтажных зданий. Во внутренний двор вели двое ворот: северные – с Москвы-реки и южные, парадные, пышно украшенные в духе барокко – с Царицына луга, традиционного места торжеств и гуляний, а в обычные дни использовавшегося для сушки продукции мануфактуры.
В начале 1771 г. один из рабочих привез на Суконный двор женщину, больную непонятной хворью. Вскоре она умерла. Так начиналось одно из самых страшных бедствий, когда-либо постигавших Москву, – великая чума. Занесенная в Первопрестольную с театра Русско-турецкой войны, моровая язва распространялась из нескольких очагов. В числе основных был Суконный двор с его скученностью и антисанитарией. Уже в марте 1771 г. здесь умерло 130 человек. Власти проглядели опасность, а потом бросились наверстывать упущенное неумелыми и суровыми карантинными мерами. Фабричные разбежались, разнося заразу. Вскоре вся Москва и ее окрестности оказались во власти чумы. За несколько месяцев умерло до 200 тысяч человек! Пытаясь локализовать эпидемию, власти закрыли город. Начался голод. В Москве хозяйничали страшные «мортусы», набранные из каторжников. Облаченные в просмоленные балахоны, они крючьями вытаскивали из домов умерших и грузили на подводы, а имущество и жилище сжигали. В переполненных карантинах больных и тех, у которых заподозрили чуму, держали впроголодь, почти не лечили. Отчаявшийся люд московский искал заступничества у чудотворной иконы Боголюбской Божьей Матери, осенявшей Варварские ворота Китай-города. Но архиепископ Амвросий распорядился убрать святыню из опасения распространения эпидемии. И тогда вспыхнул бунт. Разъяренная толпа растерзала Амвросия, укрывшегося в Донском монастыре. С большим трудом с помощью артиллерии и военных команд сенатору П.Д. Еропкину удалось подавить восстание. Москва успокоилась, лишь когда по приказу Екатерины II в город с особыми полномочиями и гвардейскими полками прибыл Григорий Орлов, и эпидемия пошла на убыль.
В конце XVIII в. Суконный двор перешел во владение князя Ю.В. Долгорукова. В 1812 г. здание было разорено и выжжено. После изгнания Наполеона мануфактура возобновила производство и работала еще несколько десятилетий. В середине XIX в. Суконный двор надстроили, фасад заново оформили в модном тогда «русском стиле». После прекращения работы фабрики здание было отдано под конторы и квартиры. В 1881 г. здесь находилась редакция популярнейшей газеты «Московский листок» – родоначальницы бульварной прессы в Белокаменной. «Кабацким листком» называла ее интеллигентная публика, но, по словам В.А. Гиляровского, активно сотрудничавшего с ней, она «читалась и в гостиных, и в кабинетах, и в трактирах, и на рынках,