Станислав стал мужем Жозефины-Амалии Мнишек, представительницы древнего аристократического рода. Жили в Тульчине. За 23 года супружества она родила 11 детей: 7 дочерей и 4 сына, но не все от Потоцкого. Станислав в политике разбирался слабо, подпадал под чужое влияние. Оказался на стороне вражеской оппозиции, был отвергнут друзьями и покончил с политической деятельностью. В Яссах он познакомился и увлекся Софьей. Красавица пустила в ход все свои чары. Жозефина все узнала, но не придала этому особого значения. Но вот появляется в Петербурге муж и просит развод, на что она не соглашается. Софье тоже не удалось расторгнуть свой брак. Влюбленные уезжают в Гамбург. Здесь их тоже встретило общественное презрение. Появилась нужда и в материальных средствах, так как Жозефина прекратила высылать деньги. По величайшему разрешению царицы, “семья” возвращается на родину. Но де Витт не расторгает брак, как и Жозефина. Положение нелегкое, имеется двое детей от Потоцкого (Константин, Николай). Софья пишет письма, в которых заверяет в своей любви и верности, ловко играя на чувствах мужа. В них ложь, лицемерие. Ей уже 36 лет. Она едет в Умань, чтобы не потерять Потоцкого.
Более двух миллионов злотых пришлось заплатить де Витту за Софью, за то, чтобы 17-летний брачный союз между Софьей и Иосифом был расторгнут. Это был 1796 год. Но вымогательством де Витт продолжал заниматься до конца своих дней.
Обосновавшись в Тульчине с Софьей, Потоцкий продолжал удовлетворять все её прихоти. В это время и был задуман парк в дар Софье. Руководителем строительства парка был назначен военный инженер Метцель. Он разработал оригинальный художественно-архитектурный комплекс парка в «пейзажном стиле».
Однако с уникальным парком у Софьи были связаны не только прекрасные воспоминания первого периода жизни с Потоцким, но и трагические. Под усеченной Колонной Печали в парке были похоронены трое детей: Константин, Гелена и Николай, которые умерли почти одновременно во время эпидемии оспы. В 1798 году Софья родила Александра. Однако несмотря на все усилия, ей никак не удавалось стать законной женой Потоцкого. Жозефина упорно не давала развода неверному мужу. Помог в этом деле старший сын Потоцкого и Жозефины – Юрий. Он служил при дворце в Петербурге и вел откровенно разгульный образ жизни. Бесконечные долги покрывались из отцовских доходов. Когда на этой почве между сыном и отцом возник серьезный конфликт, Софья сумела примирить отца с сыном и обеспечить последнему необходимое денежное