Когда Джеки исполнилось семь лет, семья стала разваливаться. Родители постоянно ссорились, и Джанет срывала зло на детях, порой даже шлепала их. В конце 1930-х соотношение сил изменилось в пользу Джанет. Черный Джек и сам понимал, что не прав, но не мог перестать бегать за юбками. На одной из фотографий того времени изображена Джанет в костюме для верховой езды, она в изящной позе сидит на барьере, а за ее спиной Черный Джек, не скрываясь, держит за руку хорошенькую девушку. Уже на следующий день этот снимок опубликовала газета «New York Daily News», конечно же снабдив недвусмысленными намеками, крайне унизительными для Джанет. Джеймс Ли, которому не терпелось избавиться от ненавистного зятя, посоветовал дочери обратиться к адвокату по бракоразводным делам, но Джанет, все еще не желавшая ставить крест на своем браке, отказалась. Неисправимый Черный Джек, как всегда безалаберный, не собирался менять привычный образ жизни: после закрытия сезона устраивал шумные вечеринки в Уайлдмуре, куда приглашал друзей-биржевиков и хористок, а пока жена с дочками отдыхала в Ист-Хэмптоне, использовал для той же цели нью-йоркскую квартиру. Когда Ли спросили, почему ее мать относилась к отцу с такой злобой, она ответила: «Думаю, папа очень обижал маму в первые годы их брака… Он засматривался на других женщин и любил флиртовать. Я знаю, тысячи мужчин делают то же самое, но мама так и не смогла смириться…»
Еще одной причиной разлада стали деньги. Состояние Черного Джека заметно истощилось, в 1933-м и 1934-м ему, чтобы уцелеть, даже пришлось взять ссуду у тестя, вдобавок он прекрасно понимал, что и его апартаменты на Парк-авеню – благотворительный жест Джеймса Ли, и это жестоко ранило его самолюбие. Хотя в 1936 году дела у Джека несколько поправились, дядя настоятельно требовал с него возврата долгов, включая кредит на 25 000 долларов, взятый в 1930-м, а налоговое ведомство настаивало на уплате весьма значительной суммы налогов за прошедшие годы. В свою очередь Джанет негодовала на неспособность мужа обеспечить стабильность, любовь и нежность, необходимые, чтобы улучшить прохладные отношения с отцом. Обижало ее и то, что дочери явно восхищаются отцом и предпочитают его общество. Подсознательно девочки стали на сторону очаровательного, любящего отца, а не строгой матери. «Обе девочки ненавидели мать, – вспоминал друг детства сестер Бувье. – С отцом Джеки была близка почти как с любовником и одновременно стыдилась за него. Джанет не любила этих своих дочерей, она любила только детей от брака с Окинклоссом». Резкость Джанет не уменьшилась и когда дочери выросли. Майкл Кэнфилд рассказывал одной из двоюродных сестер, что в приступе гнева Джанет могла ударить Джеки. Характер у Джанет был вспыльчивый, и приближение грозовых вспышек чувствовалось заранее. Возможно, правильнее было бы сказать, что девочкам претили постоянные придирки матери. «Она слишком многого от нас требовала, – вспоминала Ли, –