Для переселенцев построили на Красной площади вдоль Кремлевской стены временные ряды из 14 железных корпусов, которые открылись 22 января 1887 г., и там началась торговля на время строительства нового здания Верхних торговых рядов.
Перед сломом лавки Верхних торговых рядов разделялись семью продольными рядами и тремя поперечными. Каждый ряд имел свое название – так, на Никольскую выходили Колокольный, Скобяной, Сундучный и два Иконных ряда; на Ильинку – Шапочный, два Суконных, Скорняжный и Серебряный; между ними были Кафтанный, Ленточный, Нитяной, Бумажный, Малый Ветошный, Холщовый, Малый Золотокружевной, Золотокружевной; вдоль фасада по Красной площади, по всей длине здания, шел Узенький ряд, а позади – Ветошный (кстати, в этом ряду ранее продавались меха).
На постройку нового здания Верхних торговых рядов 15 ноября 1888 г. объявили конкурс, на который через три месяца поступили 23 проекта из Москвы, Петербурга, Одессы, Берлина, каждый под своим девизом. С проектами можно было познакомиться в залах Исторического музея. Жюри присудило первую премию в 6 тысяч рублей проекту под девизом «Московскому купечеству», и когда вскрыли пакет с именем автора, то им оказался А.Н. Померанцев; вторую премию получил Р.И. Клейн (девиз «По программе»), а третью – А.Е. Вебер (девиз «С Богом. 1889»).
Интересно отметить, что по проекту новое здание несколько повторяло планировку старинных рядов – в нем также были три прохода, перпендикулярные Красной площади, а большие окна-витрины с полукруглым завершением напоминали традиционные аркады гостиных дворов.
Победитель конкурса архитектор Александр Никанорович Померанцев был автором многих выдающихся сооружений, сочетавших в себе незаурядный архитектурный облик и использование последних достижений инженерной мысли. Так, им были спроектированы замечательные мосты на Московской окружной железной дороге, сохраненные теперь в качестве пешеходных, павильоны Всероссийской Нижегородской выставки 1896 г., собор в столице Болгарии Софии, множество зданий в разных городах России, ему же принадлежит и проект огромного недостроенного Александро-Невского собора на Миусской площади в Москве в память отмены крепостного права. За прославившее его имя здание рядов А.Н. Померанцев получил звание профессора Императорской академии художеств.
Ломать старые ряды начали 20 сентября 1888 г., а 21 мая 1890 г. состоялась торжественная церемония закладки нового обширного здания. В специально устроенный шатер посередине строительной площадки (где теперь фонтан в центре ГУМа) принесли наиболее чтимые иконы: Иверской и Казанской Богоматери, Василия и Иоанна Блаженных, святого Николая и мощи святого