В этом, по словам А.А. Вырубовой, князь был, увы, не одинок: «…Хронически обиженная “ближайшая” Свита распускала небывалые слухи об влиянии Распутина, обо мне […] и вторили этим слухам, подливая масло в огонь, “обиженные” на Её Величество Великие Княгини Стана и Милица Николаевны за то, что, поняв их игру, Её Величество, после дружбы, их отстранила. Великие Княгини Черногорки стали заклятые враги Государыни. Помню, как посол в Черногории А. Гирс говорил моему отцу в Петергофе, что он должен бы обратить внимание Государыни или Государя на Великих Княгинь, которые хуже заговорщиков против Государыни: “одна умна и зла, другая глупа и зла”, говорил он. Императрица знала, что они Её ненавидят, но Ей было всё равно».
Всему, однако, приходит конец.
«Когда я вошёл в жизнь Двора, – припоминал уже будучи в эмиграции В.Н. Воейков, – счастливая звезда князя Орлова, очевидно, уже закатилась, и из друга Царя, каким он себя выставлял перед высшим обществом, дорожившим блестящими приёмами четы Орловых, он обратился в опального придворного, которого только терпели; также относились и к его главному товарищу по измышлению нелепых, дискредитировавших Государыню, сплетен – бывшему командиру конвоя князю Ю.И. Трубецкому. Их сообщницу – фрейлину С.И. Тютчеву, состоявшую при Великих Княжнах, я уже не застал, так как она была раньше уволена Императрицею».
То же подтверждал также небезупречный верноподданный да к тому же еще и масон начальник Канцелярии Императорского Двора генерал А.А. Мосолов.
Князь В.Н. Орлов, по его словам, «имел неосторожность пустить в обращение несколько весьма едких словечек по адресу старца» (Г.Е. Распутина). Императрица, писал он далее, «стала высказывать Свое неудовольствие Фредериксу, говоря, что Орлов вмешивается в то, что до него не касается, и что Она этого допустить не может. Министр передал Орлову, что ему следует быть осторожнее в своих разговорах». Но, увы, для людей, подобных князю Орлову, Царское слово уже мало что значило.
«Можно было надеяться, – писал далее генерал Мосолов, – что при большей сдержанности князя недоразумение удастся уладить». Однако клеветник уже закусил удила и несся, не разбирая дороги.
По словам В.Н. Воейкова, «расположение Его Величества к князю изменилось, и министру Двора было поручено передать ему, что Государь не желает больше иметь его шофёром, предпочитая ездить с Кегрессом – главным механиком придворного гаража. Это был первый видимый знак охлаждения Государя к князю Орлову.
Второй эпизод произошёл в Ревеле, после свидания Его Величества с Императором Вильгельмом в Балтийском порту.
На это свидание, по настоянию министра Двора, князь Орлов был включён в список лиц, сопровождавших Их Величества на яхте “Штандарт”.
Из Ревеля “Штандарт” шёл с Царской Семьёй в шхеры, и на эту поездку князь Орлов в списке сопровождавших