Правда, вместе прожить во дворце молодым пришлось недолго. Через два года после свадьбы Александра Георгиевна умерла при родах и ее супруг остался вдовцом с двумя детьми: дочерью Марией, она позднее выйдет замуж за шведского кронпринца Вильгельма, и сыном Дмитрием, женившемся в эмиграции на богатой американке Одри (Анне) Эмери. В этот период Павел Александрович командовал лейб-гвардии Конным полком, казармы которого находились неподалеку от дворца. Он любил лошадей, кавалерийскую службу и никогда не занимал больших государственных должностей.
Павел, по словам великого князя Александра Михайловича, «пользовался успехом у женщин и был очень интересен в своем темнозеленом, с серебром, доломане, малиновых рейтузах и ботиках гродненского гусара»17. Как вспоминала Мария Павловна, «отец был высоким, широкоплечим. Голова небольшая, округлый лоб, слегка сдавлен к вискам <…>. Каждое слово, движение, жест несли отпечаток индивидуальности. Он вызывал к себе расположение всех, с кем доводилось общаться <…>, с возрастом он не утратил своей элегантности, жизнерадостности и мягкосердечия»18. Павла Александровича любили за тактичность, добрый нрав и за неучастие в дворцовых интригах. Прекрасный поколенный портрет великого князя написал в 1897 году В.А. Серов.
Представить семейную обстановку во дворце можно по рассказу Марии Павловны о Рождественском сочельнике. «Когда мы были одеты, за нами приходил отец. Он подводил нас к закрытым дверям зала и делал знак. Свет в зале выключали, двери распахивались. Перед нашими восхищенными глазами в громадном темном зале появлялась волшебная елка с горящими свечами. Сердца замирали, и мы с трепетом входили вслед за отцом. Он снова делал знак, темнота исчезала; вдоль стен появлялись столы, покрытые белыми скатертями, а на них – подарки»19. Хозяин дворца предпочитал домашний уют и светскую жизнь недолюбливал.
Овдовев, Павел Александрович через пять лет увлекся светской красавицей Ольгой Валериановной Пистоль-корс (1865–1929), у которой было трое детей от мужа-полковника. По воспоминаниям все той же Марии Павловны, ее мачеха «была красивая, очень красивая. Интеллигентное лицо с неправильными, но тонкими чертами, необычайно белая кожа изумительно контрастировала с темно-лиловым бархатным платьем, отделанным по вороту и рукавам кружевными оборками»20. Хотя возлюбленная, а позже супруга повелевала мужем, он был с нею вполне счастлив.
Вероятно, ради Ольги комнаты (библиотека, гостиная, бильярдная, кабинет и др.) в западной половине нижнего этажа в 1897–1899 годах обновлены известной английской фирмой «Мейпл и К°», что стоило более 100 тыс. руб. Из Лондона привезли и установили резные панели из дуба и красного дерева для потолка и стен, мебель, книжные шкафы, бильярд и камины21.
После тайного венчания в 1902 году в греческой церкви в Ливорно великокняжеская чета обосновалась