В сущности же, Байрон боялся брака, видимо помня о неудавшейся семейной жизни своих родителей. По его собственным словам, он дрожал во время церемонии венчания и невпопад отвечал на вопросы священника. Свой медовый месяц Байрон называл мрачным. Вот что он писал по этому поводу Муру: «Я провожу свое время (в деревне родителей моей жены) в странном однообразии и тишине и занимаюсь только тем, что ем компот, шляюсь из угла в угол, играю в карты, перечитываю старые альманахи и газеты, собираю на берегу раковины и наблюдаю за правильностью роста некоторых исковерканных кустов крыжовника». Ни слова о жене! Ни слова о любви! Ни слова об идеале! Пожалуй, для новобрачного это выглядит несколько странно…
После медового месяца супруги отправились в Лондон, где Байрон на приданое жены (а оно составляло 10 тысяч франков) купил шикарный дом, несколько экипажей, обзавелся прислугой и чуть ли не ежедневно принимал гостей. Кстати, это совершенно расходится с убеждением некоторых историков, что Анна-Изабелла отличалась скупостью. Любящая женщина предоставила мужу полную свободу в управлении ее финансовыми делами.
Анна-Изабелла совершила ошибку. Ее приданое очень быстро исчезло, а за ним были истрачены и те деньги, которые получил в наследство Байрон. Семья оказалась на грани нищеты, и Байрону даже пришлось продать свои книги.
Впоследствии имущество семьи, в том числе и брачная постель, описывались 8 раз. И конечно, то, что Байрон легкомысленно растратил немалое состояние и оставил семью без средств к существованию, не могло не отразиться на отношении к нему жены. Она не только разлюбила его, но и стала презирать и бояться.
Сначала видимая идиллия семейной жизни омрачалась лишь мелкими ссорами, но как-то раз, когда Анна-Изабелла в очередной раз стала упрекать мужа в легкомысленности, он бросил свои часы в камин и в приступе гнева изломал их щипцами. В другой раз Байрон во время ссоры с женой выстрелил в ее комнате из пистолета, чем сильно напугал ее. И наконец, Анна-Изабелла страдала от ревности: женившись на ней и через некоторое время придя к выводу, что его замысел об идеале неосуществим, Байрон стал изменять жене. Анна-Изабелла прекрасно знала о его отношениях с Каролиной Лем, а также о связях с певицами, актрисами и танцовщицами.
В конце концов Анна-Изабелла не выдержала. Через месяц после рождения ребенка она уехала к своим родителям и больше не вернулась к мужу.
Развод Байрона с женой послужил для его врагов великолепным предлогом для начала гонений, заставивших поэта навсегда уехать из Англии. Исследователи творчества великого поэта в один голос заявляют, что после того, как он покинул родину, его «муза перестала быть домовитой хозяйкой или, скорее, перестала вращаться в кругу тесных интересов родины и, одевшись в дорожное платье, вышла в открытое