Возобновив дворец, царь увеличил его впоследствии новой пристройкой. В 1560 г. он велел устроить для своих детей «особный двор и хоромы позади Большой Набережной полаты, на взрубе», с храмом Сретения Господня. Потом, в 1565 г., учреждая опричнину, царь задумал было свой особый Опричный дворец выстроить позади дворцовой церкви Рождества Богородицы, там, где были хоромы великой княгини и где стоял Поваренный дворец с разными приспешными палатами, с погребами и ледниками, по самые Куретные ворота63, которые вели на Поваренный дворец. Но замысел этот так и остался замыслом, потому, вероятно, что не совсем согласовался с духом опричнины, который требовал изменения старого порядка, между тем как предполагаемый дворец должен был стоять возле кремлевских палат, оставленных за земщиною64. По крайней мере известно, что царь велел выстроить себе дворец вне Кремля, за Неглинною, на Воздвиженке, напротив кремлевских Ризположенских (ныне Троицких) ворот, на месте, где был двор князя Михаила Темрюковича Черкасского. В этот дворец он и переехал 12 января 1567 г, но жил в нем недолго, потому что любимым его местопребыванием с этого времени была Александрова слобода, откуда он приезжал только для приема иноземных послов и весьма редко для других каких-либо дел. Покинутый царем, этот Опричный дворец сгорел во время нашествия крымского хана Девлет-Гирея, истребившего Москву ужаснейшим пожаром, во время которого сгорел и Кремлевский дворец. Это было в мае 1571 г.
Летописец говорит, что «в Грановитой, и в Проходной, и в Набережной, и в иных полатах прутье железное толстое, что кладено крепости для, на связки, перегорело и переломалось от жару». За остальные годы царствования Ивана Васильевича Грозного о дворце имеем мало сведений. Из известий уже XVII ст. узнаем только, что его хоромы стояли позади Средней Золотой палаты и состояли из, как мы упоминали, «передние сени, переднюю и две комнаты».
При царе Федоре Ивановиче65, судя по отзывам иностранных путешественников, дворец был в цветущем состоянии; все приемные палаты в это время были великолепно украшены стенописью. При царе Федоре построена, вероятно, и приемная Золотая палата для его супруги, царицы Ирины66, отчего эта палата и называлась Палатой царицы Ирины, Золотой Царицыной палатой и Меньшей Золотой, в отличие от Большой Грановитой и Средней Золотой. Прежде она именовалась просто Наугольной от Пречистой, т. е. со стороны Успенского собора.
Царь Борис Федорович Годунов, во время голода, бывшего в 1601 и 1602 гг., повелел, «чтобы людей питатися», воздвигнуть большие каменные палаты на взрубе67, «где были царя Ивана хоромы», построенные им для детей. Это было здание Запасного двора, фасад которого опускался по взрубу под гору и над которым в XVII ст. находим уже Набережный Красный