Наряду с разработкой всех мероприятий по строительству проектируемого сооружения, Баженов сооружал модель Большого Кремлевского дворца. Материалом для нее послужил разобранный под наблюдением Баженова ветхий деревянный дворец царя Алексея Михайловича в подмосковном селе Коломенском. От Баженова, великого теоретика и практика, мастера грандиозных ансамблей, тонкого художника и талантливого организатора, не ускользала ни одна деталь, для него не существовало понятия «маленькое дело»: все, от крупного до мелочи, было заранее продумано, взвешено, учтено.
Перед строительством согласно предписанию из Петербурга снесли ветхие строения, старое здание Приказов, Казенный двор, несколько небольших церквей, разобрали башни Тайницкую и две Безыменные и стену между башнями Петровской и Благовещенской. В августе 1772 г. начали рыть фундамент, а через год, 1 июня 1773 г., состоялась закладка самого здания, на которой Баженов произнес большую речь. Сам он считал строительство дворца небывалым в истории русской архитектуры дерзанием, долженствующим, как написано на медной доске, положенной в гнездо при закладке дворца, служить «к славе Российской империи, к чести своего века, к укреплению своего города, к утехе и удовольствию своего народа».
Начавшееся строительство, столь много значившее для Баженова, осенью того же года приостанавливается ввиду нехватки денег и материалов, а потом и вовсе прекращается. Архивные документы свидетельствуют, что Екатерина выделила на строительство лишь 120 тысяч рублей (а одна только модель стоила около 50 тысяч), и Большой Кремлевский дворец строить всерьез и не собирались.
От всех грандиознейших начинаний осталась модель дворца, над которой Баженов работал пять лет, вызывавшая восхищение как современников, так и потомков. Проект Кремлевского дворца оказал огромное влияние на развитие русской архитектуры, не говоря уже о том, что он содействовал окончательному формированию таланта замечательного русского архитектора М. Ф. Казакова, друга и помощника Баженова.
Прекращение строительства Кремлевского дворца стало для Баженова большим ударом. Однако он нашел в себе силы продолжать работать. В 1774 г. Баженову поручают возведение увеселительных павильонов в Москве по случаю Кучук-Кайнарджийского мира с Турцией. Возведенные им на Ходынском поле павильоны были выполнены в древнерусском стиле (который он уже использовал при строительстве церкви в селе Знаменка под Тамбовом в 1768 г.) и имели торжественные, сказочные формы.