Несмотря на разницу в возрасте (Александре было тогда 27 лет) и в социальном положении, между ними завязался роман. Молодые люди часто встречались в Аничковом дворце, где принимали участие в домашних спектаклях. Понимая, что общество не даст им быть вместе, Алексей Александрович предложил возлюбленной пойти на авантюру – бежать в Италию и там обвенчаться.
По мнению ряда историков, так они и поступили, но безденежье в скором времени заставило романтиков вернуться в Россию. Тут их ждало разочарование. Морганатический брак не был признан Синодом, а родные подвергли жесткой критике безрассудность Алексея.
В итоге Романовы постановили разлучить влюблённых: Александру выслали в Германию, а Алексея император решил отправить на два года в кругосветное плавание.
«Мне больно, мне ужасно думать, что я должен уехать от Тебя, и я не знаю, увижусь ли с Тобой ещё раз в жизни. Я ещё раз Тебе повторяю, что Ты – моя гордость, Ты – моя святыня», – писал великий князь 12 июля 1869 года.
К тому времени уже было известно, что Александра ждёт ребёнка. Сохранилась история, что будто бы Павел, младший брат Жуковской, даже вызвал великого князя на дуэль. Как писала писательница, переводчица и мемуаристка Екатерина Павловна Леткова (1856–1937), Павел Жуковский призвал Алексея Александровича к барьеру, но Александр II категорически запретил сыну отвечать на это.
20 августа 1871 года Алексей Александрович отправился в плавание. Он очень болезненно переживал расставание с Александрой. Во время разлуки с Жуковской великий князь и начал вести свой дневник, который в наши дни даёт понять, как сильно он был влюблён в те годы.
Великий князь находился в море 2 года. За это время Жуковская была подвергнута сильному давлению со стороны императорской семьи, и отношения с Алексеем Александровичем были прерваны по её инициативе.
26 ноября 1871 года Александра Жуковская родила в Зальцбурге сына от великого князя, названного в честь отца Алексеем.
14 декабря 1875 года 33-летняя Александра Васильевна вышла замуж за 26-летнего саксонского полковника, барона Кристиана Генриха фон Вёрмана (1849–1932), российского подданного и владельца имения Вендишбора. В связи с замужеством она получила вексель на крупную сумму, а позднее император Александр III, брат Алексея Александровича, назначил ей пожизненную пенсию, распорядителем которой был назначен её «первый муж» великий князь Алексей Александрович.
Великий князь же больше не женился и вёл жизнь бонвивана, полную амурных похождений. Поскольку он был флотским командиром, о нём говорили, что его жизнь состояла из «вёртких дам и неповоротливых кораблей».
24 марта 1875 года, ещё до того, как Александра Жуковская вышла замуж, маленький Алексей вместе с ней получил в Республике Сан-Марино баронский титул и фамилию Седжиано, так как Алексей Александрович приобрёл для Александры имение в Италии с правом на титул баронессы Седжиано и, с высочайшего соизволения, образовал из собственных средств особый неприкосновенный капитал в 100 000 рублей