Во второй половине 1860-х годов от Тверской заставы на западе Москвы началась прокладка железной дороги к Смоленску, а от него к Бресту и далее на Варшаву. Называлась дорога Московско-Смоленской. Смоленские промышленники, заинтересованные в соединении с Москвой, охотно давали деньги на будущую железную дорогу, и москвичи понимали ее выгодность.
23 апреля 1868 года император Александр II разрешил «приступить к работам по предполагаемой железной дороге от Смоленска до Москвы и утвердить в общем виде направление этой дороги». Оставалось найти место для станции и вокзала. Наиболее удобной сочли местность у Тверской заставы. Это было довольно близко к городу и позволяло проложить от новой дороги соединительную ветку с Николаевской железной дорогой. Большая часть земель, предназначаемых под станцию и пути, не приносила городу никакого дохода, поэтому издержки города на отчуждение частных земель и снос построек составили всего 50 тысяч рублей.
Строительство Смоленского вокзала началось в апреле 1869 года. Ответственным за возведение всех построек, согласно контракту, был крупный предприниматель, владелец кирпичных заводов статский советник Немчинов. О нем напоминает сегодня название станции Немчиновка, устроенной по просьбе братьев Немчиновых, основавших в пригороде Москвы дачный поселок. Однопутная Московско-Смоленская железная дорога строилась одновременно из Смоленска и из Москвы. Вокзал тоже строился довольно быстро. К началу сентября 1870 года двухэтажное каменное здание было уже оштукатурено.
Торжественное открытие Московско-Смоленской железной дороги состоялось 19 сентября 1870 года. Название «Смоленский» вокзал носил лишь до ноября 1871 года когда железная дорога была продлена от Смоленска до Бреста и стала самой протяженной в России – 1100 километров, – а вокзал стал именоваться Брестским.
Весной 1896 года в связи с предстоящей коронацией Николая II, известному архитектору Льву Кекушеву поручили срочно построить на Брестском вокзале для встречи царской семьи Императорский павильон. К началу мая в правой части вокзала появился деревянный терем. Внутри здание, выполненное в псевдорусском стиле, восхищало богатым убранством. Потолки украшали золоченые орнаменты, а мебель была завезена французская. Терем делился на три части: в центре была приемная, а по бокам – крытые застекленные галереи, за которыми следующие – крытые, но без стекла – галереи шли до самой платформы. Крыльцо венчал рельефный государственный герб. Рядом стоял флагшток, на котором 6 мая 1896 года в момент прибытия царского поезда подняли императорский штандарт. Выход из павильона на вокзальную площадь застилал бархатный ковер. Императорский павильон долго служил для торжественных встреч знатных особ и был разобран в 1908 году при строительстве современного вокзального здания.
По мере роста пассажирских перевозок Брестский вокзал стал тесен. В начале 1890-х годов железная дорога стала двухпутной, а платформа