Летом 1785 г. императрица наконец посетила почти готовую усадьбу, знакомую ей лишь по чертежам. Нарядные домики показались ей мрачными и маленькими – на бумаге все выглядело внушительнее. Екатерина II прервала строительство, недовольная обилием масонской символики в декоре, а также близостью зодчего к опальному журналисту и издателю Николаю Новикову, который принял его когда-то в масонский орден. Баженов был давно знаком с наследником престола Павлом Петровичем и, приезжая в Петербург, передавал ему напечатанные в Москве масонские книги. Подозрительная императрица обвинила масонов в том, что они хотят «уловить наследника в свою секту, подчинить себе». Царицыно она приказала перестроить. Одни здания усадьбы сломали, на их месте стали строить новый дворец, другие так и остались без внутренней отделки. Попавшего в немилость архитектора уволили, работы у владычицы России ему не нашлось.
После этого фиаско зодчий перешел к исполнению частных заказов, и его градостроительные замыслы отчасти осуществились в 1780-х гг. в других московских постройках: замке-дворце Пашкова на вершине Ваганьковского холма напротив Боровицкой башни Кремля (ныне известного как старое здание Российской государственной библиотеки); доме Юшкова на Мясницкой улице; неоготически-барочной Владимирской церкви в имении Быково под Москвой, которую отличали монументальность, изящество и рафинированные детали фасада.
В 1792 г. Баженову пришлось перебраться в Санкт-Петербург, на скромный пост зодчего при Адмиралтействе. Он строил для флота казармы в Кронштадте, сахарный завод, лесные сараи и прочие примитивные здания. Проект Баженова по реконструкции после пожара галерной гавани на Васильевском острове в Петербурге чиновники не приняли – он был хоть и красивым, но дорогим, а казенные деньги следовало экономить.
В 1796 г. умерла Екатерина II, и давний покровитель зодчего царевич Павел стал императором. Василий Иванович тут же получил от него чин действительного статского советника и деревню Глазово с крепостными – тысячу душ. Вновь приближенный ко двору Баженов в 1797 г. создал для нового правителя России проект Михайловского (Инженерного) замка в Санкт-Петербурге с каналами и подъемными мостами.
В начале 1799 г. Павел I назначил его вице-президентом Академии художеств – на должность, которую ввели специально для Баженова. 60-летний зодчий горел желанием