Только в 1718 году Екатерина начала строить первый небольшой каменный дом. Его проект выполнил архитектор И.Ф. Браунштейн. Если верить фольклору, этот загородный дом предназначался в подарок любимому супругу в ответ на преподнесенный Петром Екатерине загородный дворец в Екатерингофе. С первоначальным царскосельским дворцом связана одна сентиментальная легенда, записанная Штелиным. Приводим ее в пересказе И. Э. Грабаря.
«Угождение, какое сделал государь императрице, построив для нее Катерингоф, подало ей повод соответствовать ему взаимным угождением. Достойная и благодарная супруга сия хотела сделать ему неожиданное удовольствие и построить недалеко от Петербурга другой дворец. Она выбрала для сего высокое и весьма приятное место, в 25 верстах от столицы к югу, откуда можно было видеть Петербург со всеми окрестностями оного. Прежде была там одна небольшая деревенька, принадлежавшая ингерманландской дворянке Сарре и называвшаяся по ее имени Сариной мызою. Императрица приказала заложить там каменный увеселительный замок со всеми принадлежностями и садом. Сие строение производимо было столь тайно, что государь совсем о нем не ведал. Во время двухлетнего его отсутствия работали над оным с таким прилежанием и поспешностью, что в третий год все было совершенно отделано. Императрица предложила будто бы своему супругу по его приезде совершить прогулку в окрестностях города, обещая ему показать красивейшее место для постройки дворца, и привела его к возведенному уже дому со словами: „Вот то место, о котором я Вашему Величеству сказывала, и вот дом, который я построила для моего государя“. Государь бросился обнимать ее и целовать ее руки. „Никогда Катенька моя меня не обманывала“, – сказал он».
В 1743–1751 годах дворец претерпевает первую перестройку по проекту архитекторов А.В. Квасова и С.И. Чевакинского. Но уже к концу этой перестройки в процесс вмешивается величайший зодчий XVIII столетия Б.Ф. Растрелли. В 1752–1756 годах он практически заново перестраивает старый Царскосельский дворец. О впечатлении, производимом новым дворцом на современников, можно судить по преданию, записанному Павлом Свиньиным. «Когда императрица Елизавета приехала со своим двором и иностранными министрами осмотреть оконченный дворец, то всякий, пораженный великолепием его, спешил изъявить государыне свое удивление. Один французский посол маркиз де ла Шетарди не говорил ни слова. Императрица, заметив его молчание, хотела знать причину его равнодушия и получила в ответ, что он точно не находит здесь самой главной вещи – футляра на сию драгоценность».
В царствование Екатерины