Елизавета в долгу не осталась, и при дворе заговорили о ее романе с Адамом Чарторыйским. Как известно, права мужей и жен в те времена, да и много позднее, симметричностью не отличались, и Александр устроил жене сцену. Та оправдывалась, объясняя отношения с Чарторыйским сугубо платоническими. Муж удовлетворился, и инцидент был исчерпан. Он оказался только преддверием к последующему.
Фактически оставленная жена искала утешения – совсем не трудно понять эту молодую женщину, уже один раз рожавшую. В 1805 году ей исполнилось 26 лет.
В сентябре 1805 года царь покинул столицу – его ждал позор Аустерлицкой битвы 20 ноября (2 декабря) 1805 года. В столице в это время, естественно, оставалось крайне мало офицеров. Тем не менее полковой казначей Кавалергардского полка штаб-ротмистр Алексей Яковлевич Охотников должен был циркулировать между столицей и действующей армией, развозя офицерское жалование – он единственным из офицеров полка не получил в итоге ордена за эту кампанию. Но наградой ему оказалось иное: более чем достаточно свидетельств того, что между императрицей и красавцем-офицером завязался роман. Николай Михайлович пишет: «Состоящая при ней княгиня Наталия Федоровна Голицына, по-видимому, немало способствовала сближению императрицы с молодым кавалергардским офицером».
По возвращении побежденной гвардии в столицу Александр еще более сближается с Нарышкиной – это уже фактически семейная чета, выращивающая маленькую дочь.
Между тем, 3 ноября 1806 года царица тоже родила дочь, считающуюся вторым ребенком Александра и Елизаветы. Но кто был фактическим отцом ребенка? Подобный вопрос возник еще при рождении их первой дочери: малютка поразила очевидцев черными волосами, совершенно не характерными для ее официальных предков. В 1806 же году сомнений практически не было, но Александр предпочел не выглядеть рогоносцем и официально признал новорожденную своей дочерью. Как оказалось, это обязало его не ко многому.
Осенью 1806 года, еще до рождения несчастного ребенка, семейная драма приобрела самые что ни на есть трагические черты: Охотников был тяжело ранен кинжалом в спину в ночь с 4 на 5 октября 1806 года при выходе из спектакля в Большом театре. Николай Михайлович пишет: «Никакого следствия по поводу поранения Охотникова не было. Старались заглушить это дело и дать повод полагать, что это была дуэль. Более посвященные в тайну говорили, что инцидент этот произошел под влиянием цесаревича Константина Павловича.
Предполагали, что Константин, будучи неравнодушным к супруге брата, приказал из чувства ревности покончить с Охотниковым.