Со стороны Адмиралтейства пристроили деревянные палаты, подходившие к самому гласису. Со стороны Дворцового луга рядом с дворцом появился длинный ряд деревянных конюшен, сараев и каких-то других неряшливых хозяйственных построек.
В результате к началу 1750-х гг. дворцовый комплекс стал представлять собой беспорядочное скопище самых разностильных построек. Императрица его не любила, да и не соответствовал он уже выросшим потребностям Царского двора. Современники отмечали, что дворец приобрел «вид грязный, не достойный места, им занимаемого, и сама его странность не могла быть приятна государыне».
Первоначально В.В. Растрелли не пользовался у Елизаветы Петровны особой милостью и долгое время не мог получить звание обер-архитектора, хотя строительными заказами его не обходили. В 1744 г. он завершает строительство Аничкова дворца и занимается отделкой Летнего дворца императрицы (на месте нынешнего Инженерного замка), в 1747 г. перестраивает дворец в Петергофе, а в 1748 г. ему поручается строительство Смольного монастыря.
Звание обер-архитектора Растрелли получит только после того, как в 1748 г. собрался уже покинуть Россию. Но за это ему приходится расплачиваться поистине колоссальным объемом работы. В 1748 г. по его проекту и под его руководством начинается строительство Смольного монастыря, длившееся семь лет, а также строительство Большого (Екатерининского) дворца в Царском Селе, которое сначала начиналось как простая переделка старого здания. В 1749–1757 гг. архитектор строит дворец для канцлера М.И. Воронцова (ныне – Суворовское училище на Садовой улице), а в 1752–1754 гг. – дворец для графов Строгановых на Невском проспекте.
После того как в 1752 г. Елизавета Петровна пожелала в полтора раза увеличить высоту дворца (с 14 до 22 м), В.В. Растрелли предложил построить вообще новый дворец на новом месте. Но Елизавета отклонила это предложение, поручив обер-архитектору составить проект нового дворца на старом месте.
Спустя полтора года проект был готов. В.В. Растрелли предложил не просто построить дворец, а создать целый ансамбль. Дворцовый луг он планировал превратить в большую площадь, окруженную полукругом открытой галереи. Со стороны Адмиралтейства в галерее предусматривалось устроить парадный проезд, а в центре площади – установить памятник Петру I, созданный Б.-К. Растрелли.
Елизавете проект дворца понравился, но к идее создания ансамбля она отнеслась без внимания. В 1754 г. августейшая заказчица подписала указ о начале строительства новой царской резиденции: «Понеже в С.Петербурге наш Зимний дворец не токмо для приему иностранных министров и отправления при дворе во учрежденные дни праздничных обрядов, по великости нашего императорского достоинства, но и для умещения нам с потребными служителями, и вещьми доволен быть не может… для чего вознамерились оной наш Зимний дворец… перестроить…».
Пятый Зимний дворец
В 1755 г. приступили к разборке 4-го Зимнего дворца и закладке