Стали восстанавливать, но уже многое исчезло. Прежде всего, почти ничего не осталось от богатых интерьеров, пытались кое-что разыскать, но безуспешно. После восстановления особняка в нем поместилась поверочная Палата мер и весов.
Предполагается, что в начале XVIII в. этот участок пожаловали Ивану Васильевичу Кикину, брату казненного Петром I А. И. Кикина. Тут был двор «с каменными полаты и при тех полатах с троеми железные двери и при окнах затворы из деревянным хоромным и другим всяким строением». В 1733 г. наследники Кикина продали его братьям майору Ивану и подполковнику Никите Орловым, а у их наследников двор был приобретен в 1763 г. лейб-гвардии Преображенским полком для своей канцелярии. Об этом месте писал литератор начала XIX в. Михаил Николаевич Макаров, оставивший нам много свидетельств о Москве: «В Арбатской части, в Гранатном переулке до 1793 года существовал полковой двор лейб-гвардии Преображенского полка. У его ворот стояла будка, а при ней часовой – инвалид-гвардеец. Бывало, он сиживал тут беззаботно, иногда скорняжничая, а иногда починяя какую-нибудь обувь. Так тут шла его последняя служба до смены на вечный караул – в небеса!. Чудный был этот Преображенский полковой двор. Его установил тут Петр Первый, и установил, как водится за ним, не без цели. Царю государю захотелось, чтобы его любимая потеха была поближе к дому матушки, поближе к дворам всех его любезных. Да! Тут жили все Петровы, начиная от Нарышкиных до Скавронских, от математика Брюса до воина-вельможи Бутурлина. От сенатора Писарева до царедворца Толстого… Из Преображенского села ко двору матери, сюда в полковой двор Петр приводил своих только готовых воинов, вышколенных Лефортом или Гордоном. Государь дивил этими воинами и друзей, и старых вельмож русских, не совсем хорошо глядевших на юного Петра за новое солдатское учение».
В 1800 г. московский военный губернатор И. П. Салтыков просил у императора Александра I (вот пример централизации власти!) разрешения снести это здание, так как «дом сей от давнего его построения пришел в такую ветхость, что имеющиеся в стенах сквозные трещины и согнитие потолков и полов сверх безобразия представляют его склонным к падению, для чего оный давно уже необитаем и по свидетельству архитекторскому без сломки до подошвы исправлен быть не может». Дом разрешили сломать и участок продать.
По плану, выданному княжне Голицыной в 1804 г., вместо старинных палат строилось здание с первым каменным и вторым деревянным этажами. Оно сгорело в пожар 1812 г. и долго стояло непоправленным – еще в 1828 г. дом был «неотделанным, обгоревшим». На его основе в 1830-х гг. строится существующее