Чтобы циклопическое сооружение прочно стояло на зыбких грунтах замоскворецкого Болота, пришлось вбить 3500 железобетонных свай. На стройплощадке впервые в Москве применялись многие механизмы, в основном импортные. Через Водоотводный канал была перекинута канатная дорога для подачи песка и гравия. С рабочей силой проблем не возникало – на бирже труда стояли тогда многие москвичи, из деревень шел поток убегавших от коллективизации крестьян. На Хитровке можно было лицезреть мирно дремавших под навесом в ожидании работодателя будущих строителей столицы социализма. На их босых ступнях, как у покойников в морге, синим химическим карандашом были начертаны цифры – запрашиваемая плата и слова – «Зря не будить».
Когда строительные леса с дома были наконец сняты, москвичей поразил масштаб сооружения – самого большого жилого здания не только тогдашней Москвы, но и всей Европы. 505-квартирный гигант поднялся над низеньким Замоскворечьем на высоту 10–12 этажей. Компактная композиция корпусов, размещенных по периметру трех внутренних дворов, скупо оформленные фасады, жесткий ступенчатый силуэт – все это придало зданию сходство с неприступной цитаделью, взирающей свысока на крикливо-пеструю матушку Москву. Первоначально предполагалось обработать стены розовой гранитной крошкой в тон Кремля. Но это оказалось слишком дорого. Отвергнута была и идея «высветлить» дом, добавляя в штукатурку желтый подольский песок – побоялись, что гарь из труб соседней электростанции закоптит фасады. В конце концов здание выкрасили в мрачноватый серый цвет. Архитектура дома, строившегося в годы «великого перелома», удивительно точно отразила суть исторического момента. Логичная и ясная, она еще сохранила черты конструктивизма, революционно-демократический дух ранних советских лет. Но монументальный речной фасад с величавыми фланкирующими башнями и пилонным портиком – предвестник иной эпохи – сталинской империи, «Большого стиля». В одном из своих очерков О. Мандельштам, вскользь упомянув Дом правительства, назвал его «пирамидальным».