В воспоминаниях современников тех лет Елизавета Воронцова постоянно фигурирует как «официальная фаворитка» императора и участница его развлечений. По словам современников, император «проводил почти все время с ней». Петр III «не скрывал ни перед кем непомерной любви к ней». Иностранные послы в Санкт-Петербурге сообщали даже о намерении императора заточить супругу в монастырь и жениться на фрейлине Воронцовой. Петр III, не скрывая своих чувств к ней, откровенно пренебрегал законной супругой вопреки заявлениям последней, которая до последнего пыталась сохранить свое царское реноме. Попреки и «потычки» Елизаветы, брак с нелюбимым Петром, который к тому же оказался и нелюбящим супругом. Екатерина была оскорблена и как императрица и как женщина, или умело разыгрывала эту карту, как всегда во всем «наблюдая» свою выгоду.
9 июня 1762 года во время обеда Петр III публично оскорбил Екатерину и отдал распоряжение о ее аресте, и только вмешательство принца Георга Голштинского, дяди императора, спасло Екатерину от заточения.
Однако, бесхарактерная и безалаберная, не лишенная ума, но по природному добродушию и беспечности Елизавета Воронцова мало пользовалась своим положением. И это стоит отметить особо, «мало пользовалась». Надо полагать, прояви она больше настойчивости и Екатерине не миновать участи многих царственных, но нелюбимых жен – монастырь, монашество, по сути – заточение. Даже злопыхатели не могли не согласиться, что Елизавета Романовна Воронцова была в сущности доброй и отзывчивой девицей. Рисуется этакая нескладная, недалекая барышня, невесть как приворожившая к себе самого великого князя, а впоследствии императора. Исторические штампы вещь жестокая, даже если и достаточно справедливы. Думается, что Екатерине не раз приходили в голову мысли, что вот она бы на ее месте…
Параллельно императорскому роману развивалась и внутриполитическая линия – отец и дядя фаворитки активно стремились узаконить необходимые дворянству вольности (экономические привилегии, беспрепятственный выезд за границу, освобождение от военной службы и др.), вопрос о которых встал еще во время правления Елизаветы Петровны. Дворянские привилегии, разработанные придворной комиссией под руководством Р. И. Воронцова при императрице Елизавете, тогда не получили поддержку в Сенате. Но Воронцовы не отказались от борьбы за свою программу. Да и что греха таить, рассчитывал на особое положение