Личная жизнь В. сложилась весьма запутанно. 6 ноября 1919 он неожиданно женился на актрисе Джин Акер (Jean Acker; урожденная Harriet Acker, 1893—1978). Родилась 23 октября 1893 в Трентоне, штат Нью-Джерси. Играла второстепенные роли в водевилях. В 1919 перехала в Голливуд, стала любовницей и протеже А. Назимовой. Брак фактически не был осуществлен, поскольку в первую же ночь Д. Акер сбежала к своей подруге актрисе Грейс Дармонд (Grace Darmond, 1893—1963).
Во время работы над фильмом «Uncharted Seas» в 1921 В. познакомился с Н. Рамбовой. По утверждению биографа Э. Лейдер, на съемках фильма «Camille» (1921), в котором В. играл роль Армана Дюваля, между ним, А. Назимовой и Н. Рамбовой и образовался любовный треугольник, который завершился тем, что В. сделал Н. Рамбовой предложение. Бракосочетание состоялось 13 мая 1922 в Мексике. На церемонии присутствовали Мери Пикфорд, Дуглас Фербенкс, Глория Свенсон и другие звезды немого кино. По возвращении из турне В. был немедленно арестован за двоеженство, поскольку не оформил официального развода с Д. Акер. В. вышел на свободу под залог в десять тысяч долларов, внесеный Н. Рамбовой.
В 1923 суд признал право Д. Акер называться миссис Рудольфо Валентино. Бывшие супруги помирились спустя несколько лет. Уже после смерти В. Д. Акер посвятила его памяти песню «Мы встретимся в конце пути» («We Will Meet at the End of the Trail»). Всю оставшуюся жизнь Д. Акер провела с Хлоей Картер (Chloe Carter), бывшей танцовщицей кабаре «Ziegfeld Follies». Умерла 16 августа 1978 в Лос-Анжелесе.
14 марта 1923 В. заключил повторный брак с Н. Рамбовой. Однако, вскоре в семье начались конфликты, связанные с разницей мировоззрений. В. придерживался усвоенных с детства патриархальных семейных традиций. Н. Рамбова не оправдала его ожиданий как примерная домохозяйка и хранительница очага. В творческом плане союз с Н. Рамбовой также оказался неудачным. Она создала сценические костюмы для ряда фильмов В. («The Young Rajah», «Moran of the Lady Letty» и др.), которые провалились в прокате. Кризис в отношениях супругов наступил в 1925. В. заключил договор с кинокомпанией «Юнайтед Артистс», по которому Н. Рамбовой запрещалось присутствовать на его съемках. Взаимные обиды зашли так далеко, что В. переписал свое завещание, демонстративно оставив ей в наследство один доллар.
Напряженная работа, а также злоупотребления алкоголем и наркотиками отразились на здоровье В. 15 августа 1926 он попал в больницу с приступом острого аппендицита и язвы желудка. Его состояние осложнилась перитонитом после неудачно сделанной