В Европе об амурной связи быстро стало известно, и не без оснований ее сочли крайне опасной. Усиление позиций русских в Средиземноморье в первую очередь беспокоило Испанию и Францию. И дело не только в легкомысленной королеве – Разумовскому удалось подружиться с рогоносцем-королем, они вместе ездили на охоту, вместе проводили время в пирах, а за столом о чем хочешь можно договориться. Под целенаправленным влиянием графа Разумовского Неаполь постепенно стал отдаляться от родственных дворов и искать сближения с Австрией – тогда ближайшей союзницей России.
Но, как известно, никто не защищен от провалов. На грани провала однажды оказался и расчетливый Разумовский. Его снова, как и в случае с Вильгельминой. чуть не сгубили личные письма. Испанский министр при неаполитанском дворе, являвшийся резидентом испанской разведки, дон Лас-Казас, выкрал несколько посланий Марии-Каролины любовнику и любезно передал их королю Неаполя. О ужас? Вовсе нет! Когда письма были предъявлены Марии-Каролине, она закатила своему супругу такую театральную сцену, что Фердинанд не только не покарал Разумовского, но осыпал еще большими почестями, а «клеветника» Лас-Казаса быстро выслал из страны.
В этом месте вспомним одно не очень приятное правило, действующее и в политике, и в жизни: если кого-то задумывают свалить, остановить снежный ком бывает очень сложно. Екатерине II все чаще стали намекать на тайные интриги ее посланника, которые он якобы плел за ее спиной. Кто намекал? Агенты Франции и Испании. Засомневавшись, императрица отправила в Неаполь князя Бориса Юсупова и еще нескольких тайных агентов, дабы они разобрались с ситуацией на месте. Но и тут Мария-Каролина ее переиграла. Как только она заподозрила, что возлюбленного могут отозвать в Петербург, она тут же отправила Екатерине депешу: «Король, мой муж, и я очень довольны дипломатической службой графа Разумовского, ему удалось завоевать уважение всех честных и умных людей нашего двора… В том случае, если Ваше Императорское Величество примет решение не оставлять его при нашем дворе, просим Вас дать ему более высокую и почетную должность. Это станет показателем того, что вы правильно поняли наши слова о графе. Ваше доброе отношение к графу Разумовскому укрепит дружественные отношения между нашими дворами».
Весной 1784 года Екатерина все-таки отозвала «шалунишку» в Россию. Однако никаких санкций не последовало. Основная миссия графа была полностью выполнена: стоянки для российских кораблей заполучены, к тому же между Россией и Неаполем с помощью Разумовского был заключен весьма удачный торговый договор, а в самом Неаполе Разумовский оставил хорошо отлаженную нелегальную резидентуру. Было и еще одно важное обстоятельство: на севере России вновь, как и при Петре I, началось противостояние со Швецией, и графа ждали новые секретные дела.
На исходе XVIII века граф де Ферзен, который много лет был влюблен в родную сестру неаполитанской королевы