Через полгода, в сентябре 1863 года, в Женеве родилась их дочь Елена. Марию охватило отчаяние. В ее глазах внебрачный ребенок был позором. Финансовое положение – необходимость содержать четверых детей – вынуждало ее делать большие долги. На помощь со стороны Виктора рассчитывать не приходилось, в последние годы она жила на средства братьев Сергея и Льва. В одном из писем она объясняет свою ситуацию Льву. Он читает письмо со слезами на глазах, но находит силы для добрых советов: 1) выйти за шведа замуж, 2) ребенка не брать себе, а отдать ему, Толстому, и 3) скрыть все от детей и от света10. Братья попытались воздействовать на Валериана, чтобы официально оформить развод. Однако Лев с этим вопросом не спешил, поскольку хотел сначала обсудить ситуацию, встретившись с сестрой. Мария, в свою очередь, засомневалась, так как вопреки всему не хотела портить репутацию бывшему супругу. Смерть Валериана в 1865‐м стала решением всех проблем, пусть и запоздалым.
Виктор аф Клеен был большой любовью Марии, но когда речь зашла об общем будущем, именно швед повел себя вероломно. Очевидно, его семья была против связи с бедной многодетной русской. В письме, отправленном брату Сергею из Вены в феврале 1864-го, Мария делится своими сомнениями в отношении Виктора: «Он меня любит искренно и сильно, но характер у него очень мягкий – и влияние на него родных большое, так что если борьба ему будет не по силам, то я пожертвую собой и, чего бы мне ни стоило, оставлю его»11. Весной того же года Мария решает забыть Виктора и вернуться в Россию. Но с собой она взяла только дочерей Елизавету и Варвару. Николая отдали в интернат, а Елену удочерила швейцарская семья. Впоследствии ее определили в пансионы Вены и Лозанны, скрыв русско-шведское происхождение.
В 1865 году в Париже Виктор аф Клеен женился на Сусанне Марианн Крокфорд (1841–1923). В этом браке родились двое детей – Эрланд (род. 1866) и Флоренс (род. 1869). В Швеции Виктор вернулся на военную службу. В 1865–1874 годах он был штабс-адъютантом лейб-гвардии, где получил чин капитана. Он также занимался историческими исследованиями. Книга «Slaget vid Königgrätz d. 3 juli 1866» («Сражение при Кённиггреце 3 июля 1866», 1867) повествует о битве между Пруссией и Австрией, а «Kommunen: Insurrektionen i Paris 1871» («Коммуна: восстание в Париже 1871», 1867) – о возникновении и падении Парижской коммуны. «Kommunen» вышла посмертно. В предисловии, датированном декабрем 1875-го, брат Густав сообщает, что Виктор начал писать книгу несколькими годами ранее, но слабое здоровье и тающие физические силы заставили его прервать работу12. Поэтому значительная часть «Kommunen» на самом деле написана братом Густавом.