В июле 1933 г. Шпееру было поручено украсить поле в Нюрнберге, на котором должен был состояться парад нацистов во время их съезда. На сей раз вместо знамен он предложил водрузить над платформой гигантского орла со свастикой в когтях. Размах крыльев орла был в 30 метров. Шпеер представил свой эскиз лично Гитлеру и тот одобрил его работу.
Осенью 1933 г. Шпеера вместе с другими архитекторами привлекли к работе по переделке здания рейхсканцелярии. Гитлер взял его для осмотра здания, во время которого он долго беседовал со Шпеером. С этой беседы начался почти 12-летний период жизни Шпеера в постоянном общении с Гитлером.
Поскольку карьера архитектора осталась неосуществленной мечтой Гитлера, он принял личное активное участие в переделке рейхсканцелярии. При этом он с живым интересом выслушивал мнение Шпеера и давал ему все новые и новые поручения. Шпеера стали постоянно приглашать на обеды и ужины Гитлера, в которых принимали участие наиболее близкие к нему люди. Вечером после ужина Гитлер и его гости просматривали кинофильмы и часами выслушивали болтливого фюрера. Так, Шпеер вошел в круг приближенных Гитлера и вскоре тот стал брать архитектора с собой в его резиденцию в горах – в Оберзальцберг.
К этому времени ведущим архитектором Третьего рейха считался Пауль Троост, который был сторонником так называемого неоклассического стиля. Отвергая утверждения о чисто германском характере этого стиля, Шпеер ссылался на книгу Джона Буркхарта «Архитектура Америки». Ее автор, указывая на сходство между правительственными зданиями в гитлеровской Германии, рузвельтовских Соединенных Штатах и сталинском Советском Союзе, подчеркивал, что в 30-е гг. не было большой разницы в архитектурных стилях различных стран мира, вне зависимости от их политического строя. Для всех был характерен так называемый «неоклассический» стиль. Шпеер также был верен этому стилю, хотя старался сочетать его с более простым стилем Тессенова.
Смерть Пауля Трооста в августе 1934 г. превратила Шпеера в первого архитектора Германии. Теперь, находясь с Гитлером в Берлине или Оберзальцберге, Шпеер занимался разработкой архитектурных проектов различных государственных учреждений и резиденций высших лиц рейха. Шпеер был создателем нового здания рейхсканцелярии, помещения которой должны были подавлять посетителей своими грандиозными размерами.
Одновременно Шпеер продолжал заниматься оформлением массовых нацистских мероприятий и разработкой архитектурных