Граф был дружен с покойным наследником Николаем Александровичем[14] и после его преждевременной смерти стал другом наследника Александра Александровича. С воцарением Александра III граф был назначен начальником охраны его величества, а с августа 1881 года и министром императорского двора, каковую должность занимал в течение всего царствования Александра III. Государь любил графа. Императрица Мария Федоровна рассказывала старшей дочери графа, графине Александре Илларионовне, что однажды она читала такую запись в дневнике своего августейшего супруга: «Сегодня был у меня дорогой Илларион Иванович. Каждый раз, когда я его вижу, у меня становится светлее на душе».
С годами дела Министерства двора как бы уже не удовлетворяли графа. Его широкий государственный ум требовал большего размаха.
В тогдашнем Комитете министров голос министра двора имел первейшее значение. На него равнялись. Он был как бы первый министр, дававший тон министрам, как знающий намерения и пожелания государя.
Оставшись министром двора и после воцарения императора Николая II, граф просил об увольнении его после ходынской катастрофы, но государь отклонил эту просьбу. Граф отпросился в деревню, где и жил до окончания расследования. Однако и в это время, собираясь в путешествие по России и за границу, государь просил графа сопровождать его.
Летом 1897 года граф был назначен членом Государственного совета, а на его место был назначен его однополчанин барон Фредерикс.
На эту смену оказала влияние молодая императрица, с которой граф не сходился по некоторым хозяйственным вопросам, связанным с расходами, и, кроме того, говорили, что у императрицы не могло не остаться по адресу графа некоторой горечи за неласковый прием ее в 1889 году, в чем, правильно или неправильно, но обвиняли позже и графа, и его супругу. И даже вспоминали это много позже, когда престарелая графиня так красиво и мужественно встала на защиту императрицы зимою 1913 года против некоторой группы русской аристократии, о чем будет сказано в своем месте.
В 1905 году граф был назначен наместником на Кавказ. Он принес туда весь свой обширный житейский и государственный опыт и по всем своим личным качествам как нельзя больше подходил к новому посту. Это был поистине большой боярин, действительный вельможа, оставшийся на службе государевой, несмотря на свои несметные богатства. Зная государя Николая Александровича с колыбели, носив его некогда, в буквальном смысле, на руках, старый граф перенес на молодого монарха всю любовь верноподданного с оттенком отеческой нежности человека много более старшего его по годам. Государь же питал к графу особое уважение и любовь, согретую теплыми детскими воспоминаниями; ведь государь рос и играл