Kaiserin Elisabeth hielt unbeirrt an ihm fest, trotz vieler Hofintrigen und Einwände von allen Seiten, die Latour als ungeeignet zur Erziehung eines Kronprinzen hielten.
Latour war zur Zeit seiner Berufung zum Obersthofmeister 44 Jahre alt, Junggeselle, studierter Jurist, Beamter und natürlich auch Soldat. Er war seit 1860 als Flügeladjutant in der kaiserlichen Familie beschäftigt. Man kannte ihn also, vertraute ihm und Franz Joseph schickte ihn mehrmals mit persönlichen Nachrichten zu seiner Frau nach Madeira, als die Ehekrise am Kochen war. Er war zudem schon Gondrecourt zugeteilt, versah also schon Dienst beim Kronprinzen. Trotzdem wurde er erst offiziell 1870 , fünf Jahre nach seiner Ernennung, zum Erzieher und Oberhofmeister des 12jährigen Kronprinzen per Dekret ernannt.
Latour galt als liberal, damals ein schrecklicher Webfehler, besonders bei Erzherzogin Sophie und der alteingesessenen Hofkamarilla, insbesondere auch bei Erzherzog Albrecht, (1817 bis 1895) Doyen des Hauses, erzkonservativ, klerikal und ein direkter Nachkomme des Siegers von Aspern über Napoleon, Erzherzog Karl. Albrecht hatte am Hof viel zu reden, er war das lebende spanische Hofzeremoniell, samt österreichischem Militärschematismus. In späteren Jahren hatte Kronprinz Rudolf neben vielen anderen in ihm einen seiner größten Feinde.Inzwischen wurde wieder Krieg geführt. Diesmal mit dem einstigen Verbündeten Preußen. Die berühmte Schlacht bei Königgrätz war der traurige Höhepunkt dieses unseligen Waffengangs. Österreich wurde vernichtend geschlagen, Preußen stieg zur Weltmacht auf. Bismarck legte mit diesem Sieg den Grundstein zur deutschen Reichsgründung im Jahr 1871.Kaiserin Elisabeth besuchte in dieser schweren Zeit viele Lazarette und Spitäler, wurde dort zum guten Engel der Verwundeten und benahm sich zum ersten Mal so, wie sich eine gute Kaiserin und Landesmutter benehmen sollte. Sie schrieb ihren Kindern daheim viele Briefe und berichtete über die Vorkommnisse. Rudolf bewunderte sie über alles. Eine Audienz, die der damals achtjährige Rudolf abhielt, war Tagesgespräch. Graf Hans Wilczek, der als einfacher Soldat in den Krieg gezogen war, obwohl dem österreichischen Hochadel zugehörig, meldete bei dieser Unterredung dem Kronprinzen viel Unangenehmes. So machte er aus seiner Entrüstung über die überaus schlechte und veraltete Ausrüstung des österreichischen Heeres kein Geheimnis. Der kleine Prinz hörte aufmerksam zu und stellte viele kluge Fragen. Es ist wahrscheinlich, dass Wilczek extra von der Kaiserin und Latour als Gesprächspartner für den Kronprinzen herangezogen wurde. Daraus entwickelte sich eine Freundschaft des 20 Jahre älteren Grafen zum jungen Kronprinzen, die bis ans Lebensende von Rudolf halten sollte. In Wilczek hatte Kronprinz Rudolf einen der wenigen Freunde aus Hochadelskreisen, aber auch einen einsichtsvollen Lehrer mit viel Lebenserfahrung.
Königgrätz beschäftigte Rudolf noch lange, er hatte unendliches Mitleid mit seinem geschlagenen Vater, bewunderte die Mutter, hielt so gut es ging Abstand zu Erzherzog Albrecht, der ebenfalls seine Mitschuld am fürchterlichen Ausgang dieses Krieges hatte und bewältigte sein inzwischen immer größer werdendes Lernpensum.Der Kronprinz wurde natürlich privat unterrichtet. Der Lehrplan entsprach dem der Volksschule und des Gymnasiums mit vielen zusätzlichen Fremdsprachen wie Latein, Französisch, Ungarisch, Tschechisch und Polnisch. Dazu kam noch die militärische Ausbildung und – eine Eigenheit der Habsburger – jeder Erzherzog musste ein Handwerk lernen, welches Rudolf lernte, ist leider nicht überliefert. Man vermutet das Buchdruckerhandwerk. Körperliche Ertüchtigung stand ebenso auf dem Programm, wie gesellschaftliche Fähigkeiten, wie Konversation, Tanzen und das leidige spanische Hofzeremoniell.
Latour, selbst als Liberaler ausgewiesen, wählte als Lehrer in den einzelnen Fächern für den Kronprinzen Schulreformer, Liberale, aber auf jeden Fall, ausgesprochene und ausgewiesene „Kapazunder aus.
Professor Zhismann unterrichtete Geschichte und hatte an dem hochintelligenten und eifrigen Kronprinzen seine helle Freude. Ein Benediktiner Hyazynth Ronay unterrichte Rudolf in ungarischer Geschichte. Das setzte Gyula Andrassy nach dem Ausgleich mit Ungarn durch. Später kam dann noch Anton Gindely dazu, der böhmische Geschichte unterrichtete.
Prominente Professoren wurden für die naturwissenschaftlichen Fächer herangezogen. Hier sind Matthias Wretschko und Josef Krist zu nennen. Sie legten den Grundstein zur ausgesprochenen Vorliebe des Kronprinzen für die naturwissenschaftlichen Fächer. Einzig Mathematik und Physik wurden von Rudolf nur schwer erfasst.Obwohl er sich später für alle technischen Neuerungen überaus lebhaft interessierte.Ab 1872 wurde Rudolf von Univ.Prof. Ferdinand Hochstetter in Geologie unterrichtet. Der Jurist Adolf Exner, Lehrer für Staatsrecht unterrichtete Rudolf in diesem Fach. Der berühmteste unter den vielen Lehrern des Kronprinzen war wohl der Nationalökonom Carl Menger, er wird bis heute immer zum Hauptverantwortlichen für die demokratische, atheistische, liberale und republikanische Weltanschauung des Kronprinzen gemacht. Was natürlich nicht stimmte. Fast alle Lehrer Rudolfs unterrichteten an Hochschulen und ersetzten so dem Kronprinzen das Studium an einer Universität. Fast alle waren Liberale, galten als Reformer und Erneuerer. Nicht nur Menger.Die Schlüsse, die Rudolf aus diesem für ihn höchst interessanten umfangreichen Lehrstoff zog, kamen aus ihm selber und sollten seinem kaiserlichen Vater furchtbar auf die Nerven gehen, er sprach am liebsten übers Militär und die Jagd, für die Politik hielt er sich seine Minister. Franz Joseph war aber sehr bald klar, dass sein einziger Sohn intellektuell „mehr drauf hatte“ als er. Es ist bezeichnend, dass sich der Kaiser sein Leben lang mit Ratgebern und engen Mitarbeitern umgeben hat, die ihm geistig maximal ebenbürtig, aber niemals überlegen waren.
Anfänglich ging gerade sein Großonkel, Erzherzog Albrecht auf die Argumente Rudolfs in langen Gesprächen und Briefen ein, später zog sich Rudolf die tiefe Feindschaft dieses wichtigen Mitgliedes des Erzhauses zu. Albrecht wetterte vor allem gegen Rudolfs Umgang mit Freimaurern, Antiklerikalen, liberalen jüdischen Journalisten und warnte ihn vor den Folgen seiner „Wissenschaftshörigkeit“.
Dazu kam dann ab 1886 die auffallende Veränderung im Wesen des Kronprinzen, seine Weibergeschichten, die Erzherzog Albrecht natürlich im wesentlichen bekannt waren, seine schlechte Ehe, seine Freundschaft mit liberalen Journalisten, seine Art sich unters Volk zu mischen, seine vielen Aufsätze in Tageszeitungen, die er zwar unter Pseudonym veröffentlichte, doch Erzherzog Albrecht wusste Bescheid. Und ein paar mehr als unüberlegte Streiche, ja Bübereien, wie etwa die Affäre Pernerstorfer, die den gestrengen Erzherzog in Wallung brachten.Eduard Pernerstorfer war sozialistischer Abgeordneter im Reichstag und hatte damals in einer Rede die dreisten Streiche einiger Erzherzöge öffentlich gemacht. Im Verein mit den Erzherzögen Franz Ferdinand, der bei einem Leichenbegängnis mit seinem Pferd über den Sarg sprang, auch Erzherzog Otto, dessen Nacktauftritt im Sacher (er war als „Flitzer“, nur mit einem Säbel bekleidet, im Hotel Sacher unterwegs) sorgte vor allem Kronprinz Rudolf dafür, dass der vorlaute Abgeordnete von „Unbekannten“ schwerstens verprügelt wurde. In einem Brief an seine Gattin Stephanie dazu: „es ist mir gelungen, die zwei Gefreiten, jetzt so anzubringen, der eine ist an der russischen Grenze, der andere macht Dienst in Ungarn“. Er gab also unverblümt zu, dass Pernerstorfer auch in seinem Auftrag verdroschen wurde, was kein sehr gutes Licht auf seinen Charakter wirft.
Erzherzog Albrecht urteilte besonders streng über das Leben des Kronprinzen, er verabscheute seinen Alkoholkonsum, hielt in für feige, was er ja wirklich war und gefährlicher noch, für einen Atheisten.
Adel und Hochadel waren eindeutig keine Freunde des Kronprinzen. Seine Ansichten waren dieser Oberschicht mit ihren Privilegien und Sonderrechten einfach zu liberal, zu bürgerlich, ja – wie abscheulich – zu republikanisch!Hier hatte er sich auch durch seine vielen, eher abfälligen Reden und Aufsätze nur Feinde gemacht. Er prangerte den Hochadel als geistig platt, ohne nennenswerte Interessen außer den Besitz, die Jagd, höfische Unterhaltungen, Besitzstandswahrung- und Vermehrung, Privilegien, die standesgemäße Ehepartnerwahl, die Wahl des richtigen Urlaubsortes an. Zudem störte ihn der konservative Klerikalismus der meisten Hochadeligen, die krasse Halbbildung, die Herumtratschereien und Zuträgereien.Auch in Militärkreisen konnte sich der Kronprinz keine Freunde schaffen. Er hatte zu Recht sehr viel am Heer und der Monarchie etwas auszusetzen, am meisten jedoch an der schlechten Führung des Militärs. Damit zog er sich die lebenslange Feindschaft der maßgeblichen Herren des Generalstabes zu.
Mit seinem Cousin Johann von Toscana ( nachmals Johann Orth) war er sich über viele Missstände im