К сожалению, в своем первозданном виде палаты до нас не дошли из-за нескольких больших московских пожаров и грабежей. При восстановлении облик палат, как и других московских зданий, менялся. По преданию, именно в этих палатах 12 июля 1596 года родился Михаил Федорович, которому предстояло стать первым русским царем из династии Романовых. Сама усадьба с XVI века принадлежала деду Михаила – Никите Романовичу Захарьину-Юрьеву (ок. 1522–1586 или 1585) – младшему (третьему) сыну окольничего и воеводы Романа Юрьевича Захарьина-Кошкина (ум. 1543) и брату Анастасии Романовны Захарьиной (1530 или 1532–1560), первой жены царя Ивана IV Грозного.
Через несколько лет после рождения Михаила, Романовы, как наиболее вероятные претенденты на русский престол, подверглись опале. По наущению Бориса Годунова Бертенев, казначей семьи Романовых, пишет на них донос: «Якобы хранят они у себя в казне коренья волшебные, дабы извести (отравить) семью царскую». В 1599 году отца Михаила, Федора Никитича, заключили в тюрьму, а затем насильно постригли в монахи под именем Филарета. Вся семья Романовых была арестована стрельцами, а усадьба – разграблена и много лет пустовала. В 1605 году Лжедмитрий возвращает Романовых из ссылки, пытаясь доказать свое родство с ними. Но в свою усадьбу они уже не вернулись.
Михаил Федорович был избран на царствование Земским собором 3 марта 1613 года. Став царем, он поселился в Кремле. Некоторое время спустя Михаил Федорович передал боярскую усадьбу только что учрежденному Знаменскому монастырю. Монахи не единожды перестраивали здание под свои хозяйственные нужды. Происходило это вплоть до 1857 года, пока Александр II не выкупил палаты у монахов за 20 тысяч рублей – сумму, по тем временам немалую.
Пережив множество пожаров и разграблений, неоднократную смену хозяев, «старый государев двор» наконец обрел статус исторического памятника. Александр II приказал устроить в своей родовой вотчине «Дом бояр Романовых» – фактически, первый исторический мемориальный музей в Российской империи. Тогда же здание было тщательно обмерено, и была проведена его реставрация по историческим документам, которая закончилась в 1858 году.
Проект реставрации разработал и руководил ею придворный архитектор Ф. Ф. Рихтер. В ходе ее были достроены второй и третий, деревянный, этажи, перестелены полы, восстановлены крыльцо и крыша, на которую в виде флюгера водрузили геральдический знак дома Романовых – грифона. Герб с изображением грифона был расположен и на северном фасаде музея, над входной дверью со стороны Варварки. В советское время нишу заделали, грифон был снят, и дальнейшая судьба этого памятника неизвестна. Во время реставрационных работ 1984–1991 годов нишу раскрыли, ее предназначение выяснили в результате работы в архивах. Обнаружили ряд малоизвестных проектов Рихтера и фотографию 1913 года, на которой изображен император Николай II на фоне северного фасада палат – там над входом хорошо виден грифон. В 2008 году потомки Ф. Ф. Рихтера –