Граф Ростопчин, проницательный наблюдатель и вообще довольно строгий ценитель вещей и людей, составлявших правительство в последние годы царствования Екатерины, относился снисходительно к талантам и заслугам Безбородко. Почти единственное, в чем он упрекал его – это та обстановка, которой тот окружил себя. «Люди, составляющие ее, – говорит он, – только и думают, как бы поесть да напиться, да вертеться на глазах у хозяина, который, наконец, начинает смотреть на них как на „мебель своего дома“. Ростопчин, правда, поддерживал дружбу с Семеном Воронцовым, благородным лондонским изгнанником, часто прибегавшим к Безбородко, возвышению которого способствовал. Гарновский в одном из своих писем к Попову называл Безбородко „вьючной лошадью Семена Романовича“. Надо также призвать некоторый вес и за оценкой маркиза де Верака, писавшего о Безбородко и его сотруднике Бакунине: „Будучи свидетелем, как я, рассеянной жизни, которую они ведут, приходится удивляться не тому, что дела идут плохо, а тому, что они вообще еще идут“.
Что особенно говорило в пользу фактотума, ввиду этих разноречивых свидетельств – это то, как он был замещен. В действительности Екатерина только тогда начала находить в нем недостатки, когда решилась принять услуги Зубова. Безбородко сначала боролся с фаворитом. Однажды, когда во время чтения им какого-то рапорта Екатерина показала, что скучает и недовольна, он собрал свои бумаги, как бы собираясь уйти. Екатерина извинилась, и мир был заключен. Но фаворит быстро шагал вперед. Марков, секретарь Безбородко по французской корреспонденции, тоже ушел от него к Зубову. Это была большая потеря: Марков долгое время жил в Петербурге и научился там тонкостям дипломатического языка, употребляемого при европейских дворах. Его переход принес ему в очень короткое время титул графа, ордена св. Александра Невского и Владимира, четыре тысячи крестьян в Подольской губернии и многочисленные денежные подарки, в которых он очень нуждался, чтобы удовлетворить роскошной жизнью мадемуазель Хюсс, знаменитую, очень хорошенькую и очень расточительную