Obwohl es schien, dass Rudolf in verschiedenen Welten zu Hause war, so wirkte er doch auf seine Zeitgenossen keineswegs blass und blutleer. Der bekannte Chronist Heinrich von Dießenhofen berichtete über einen Besuch des Habsburgers am Oberrhein, dass der junge Herr eine beachtenswerte, weise Person sei, daneben großzügig, vor allem aber sei die Weisheit des 18-Jährigen bemerkenswert.
Wahrscheinlich setzte sich Rudolf schon sehr bald hohe Ziele, denn für ihn konnte es nicht angehen, dass Wien weit hinter Prag zurückstand und nicht einmal den Status eines Bistums hatte. Er musste es geradezu als Schmach empfunden haben, dass man dem Bischof von Passau unterstellt war. 1356, im gleichen Jahr, in dem Kaiser Karl IV. in der Goldenen Bulle die Reichsgesetze niederschreiben ließ, unternahm Rudolf die ersten Schritte, um die Stephanskirche, deren Bau sein Vater Albrecht II. begonnen hatte, in eine Kardinalskirche umzuwandeln. Natürlich war ihm bewusst, dass dies mit großen Schwierigkeiten verbunden sein würde, daher suchte er von allem Anfang an ein gutes Einvernehmen mit dem Papst. Um seine Frömmigkeit auch öffentlich auszudrücken, ließ er den Heiligen Vater wissen, dass er sein Geburtszimmer in der Hofburg zu einer Kapelle umgewandelt hatte, die allen Heiligen gewidmet wurde. Rudolf selber machte sich die Mühe, Regeln für den Gottesdienst in dieser Kapelle aufzustellen.
Rudolf war ganze 19 Jahre alt, als er die Herrschaft über Österreich, die Steiermark, Kärnten und die großen Gebiete im Westen übernahm. Dadurch, dass er von seiner Mutter das Elsass, Gebiete am Oberrhein, Schweizer Städte und kleinere Gebiete in Schwaben geerbt hatte, war er ständig gezwungen, unterwegs zu sein. Wie er all die Aufgaben, die auf ihn zugekommen waren, in den wenigen Jahren seiner Regierungszeit überhaupt bewältigen konnte, ist bis heute ein Rätsel, bedenkt man die schlechten Verkehrsverhältnisse, die Unbilden der Witterung, denen er auf seinen Reisen ständig ausgesetzt war, die Gefahren, die ihm von der Natur, aber auch von missliebigen Menschen drohten. Es war vielleicht seinem ausgleichenden Naturell zu verdanken, dass er sich zumindest im Westen einigermaßen Luft verschaffte, obwohl er schon als Reichslandvogt eine besondere Stellung auf dem Gebiet der Rechtsprechung vom Kaiser einforderte. Aber Karl IV. sah wahrscheinlich zunächst mit mildem Auge auf den hochaktiven Schwiegersohn und ließ ihn schalten und walten, wie dieser es für richtig hielt. Denn es grenzte in der damaligen Situation beinah an ein Wunder, dass sich Rudolf mit den Schweizern, namentlich mit der Stadt Luzern friedlich einigte, sodass sich in den Städten keine nennenswerte Opposition breitmachte. »Stadtluft macht frei«, so dachten viele bettelarme Bauern, die unter der Leibeigenschaft stöhnten und die ihr Glück in der Stadt versuchten. Der Reichslandvogt galt als Freund der Schweizer, der Waffengewalt verabscheute und in seiner Position als Vertreter des Kaisers zum Wohl der Bürger Recht sprach. Schon bald machte sich das Gerücht breit, Rudolf wäre »ain frommer weiser Herr, ein gotliebender, frommer Fürst« und ein »fridlicher Herr«, für einen jungen Mann ganz ungewöhnliche Attribute. Aber für Rudolf galt in den ersten Jahren seiner Regentschaft die Devise, dass die weltlichen Fürsten nur Glieder eines Hauptes, des Kaisers, wären. Ihre Aufgabe sah er darin, in den ererbten oder erworbenen Ländern Ruhe und Ordnung zu halten.
Auf allen Gebieten schien Rudolf seiner selbst gestellten Aufgabe nachgekommen zu sein, denn zur Verwunderung aller ließ er eine 1425 Meter lange Brücke über den Zürichsee in Rapperswil in nur zwei Jahren erbauen. Damit hatte er Verbindungsmöglichkeiten in die Schweiz geschaffen, die nicht nur den Rapperswilern zugutekamen, sondern die ihn von Zürich unabhängig werden ließen. Geschäftstüchtig, wie er war, veranlasste er auch sofort, dass die Brücke nur nach Entrichtung einer Maut betreten werden durfte, wobei Reiter zwei Pfennige, die Viehhändler und Kaufleute etwas weniger zu zahlen hatten, damit der Handel nicht beeinträchtigt wurde. Die Brückenmaut sollte für den Bau der Burg verwendet werden, die er prunkvoll ausstatten ließ.
Rudolf war ein Regent, der sein Auftreten in der Öffentlichkeit zelebrierte, vielleicht auch im Hinblick auf seinen übermächtigen Schwiegervater in Prag. Er imponierte damit allen, die ihm begegneten, vor allem weiten Teilen des reichsunmittelbaren Adels, den er ganz auf seine Seite zog. In den Trinkstuben entstanden überall Rittergesellschaften, die voll des Lobes über den jungen Herrscher waren. Rudolf war in seiner unwahrscheinlichen Dynamik ein Mann, der in vielerlei Hinsicht die Jugend anzog, der es meisterlich verstand, nach außen hin seine Position kundzutun. Schon im Jahr 1359 ließ er ein neues Siegel entwerfen, auf dem zu lesen war: »Rudolf, von Gottes Gnaden, des Heiligen Römischen Reiches Erzjägermeister und Erstgeborener des Herzogs Albrecht und der Herzogin Johanna.« Dieses Siegel, das auch auf der Gegenseite und an den Rändern mit Titeln versehen war, wurde erstmalig bei der Erhebung von St. Stephan zur Probstei im Jahre 1359 verwendet.
Später allerdings, als Rudolf durch sein von ihm in Auftrag gegebenes Privilegium maius den Bogen überspannte, verlangte Kaiser Karl IV. von ihm, dass der Titel des Herzogs von Schwaben und Elsass aus dem Siegel entfernt werde.
Auch dem Titel »des Heiligen Römischen Reiches Erzjägermeister« war nur ein kurzes Leben beschieden, obwohl Rudolf sich vielleicht auf das Amt des Jägermeisters als Herzog von Kärnten berufen konnte, da die Kärntner in früheren Zeiten für den Kaiser die Jagd auszurichten hatten. Aber was für Karl IV. zu viel war, das war eben zu viel! Wenngleich Rudolf auch sehr geschickt seine Vorrechte begründet hatte, indem er auch den Kärntner Herzogstuhl umbauen ließ, um zu zeigen, dass hier schon seit alters her Geschichte gemacht worden war. Er versuchte nicht nur nachzuweisen, dass der erste römische Kaiser ein gewisser Julius gewesen war, der vom Rhein nach Rom gekommen war, sondern ging noch weiter in der Geschichte zurück, sodass beinah Adam und Eva die Stammeltern der Habsburger gewesen sein könnten. Auch für seine Schöpfung, die Zackenkrone fand er eine plausible Begründung, wobei dies alles nur Äußerlichkeiten waren. Denn die wichtigsten Punkte des gefälschten Privilegiums waren außerordentliche Rechte, die dem Herzog von Österreich angeblich zugebilligt worden waren: »Ganz gleich, was der Herzog von Österreich in seinen Ländern und Gebieten macht oder anordnet, weder der Kaiser noch eine sonstige Macht darf das auf irgendeine Weise oder auf irgendeinem Wege künftig irgendwie verändern.«
Unabhängigkeit von Entscheidungen im Reich, freies Schalten und Walten in den habsburgischen Ländern, freie Gerichtsbarkeit und das Erbrecht auch in der weiblichen Linie waren die wichtigsten Punkte, die Rudolf durch dieses Privileg festgeschrieben haben wollte, das sich in einigen der 18 Punkte auf das im Jahre 1156 von Kaiser Friedrich Barbarossa erlassene Privilegium minus bezog. Das war auch der Grund, weshalb Kaiser Karl IV., als der von ihm beauftragte Dichter Petrarca das ganze Machwerk als Fälschung identifizierte, nicht alles, was das neue – uralte – Privileg enthielt, in Grund und Boden verdammte. Natürlich konnte es nicht angehen, dass der Herzog in seinen Rechten dem Kaiser gleichgestellt wurde. Das war Karl IV. doch zu viel! Außerdem akzeptierte er niemals die Unabhängigkeit Österreichs vom Reich, ganz abgesehen davon, dass die Urkunden Caesars und Neros ihm wahrscheinlich nur ein Lächeln entlockten.
Den Titel Erzherzog durfte der Schwiegersohn in Hinkunft beibehalten, genauso wie er sich mit der zwölfzackigen Krone über dem Herzogshut hatte abbilden lassen. Das Bild Rudolfs, das um das Jahr 1364 entstanden sein dürfte, ist das zweite Porträt eines Herrschers.
Auch die Steinfiguren am Stephansdom und die Plastiken über dem Kenotaph, die Rudolf und seine Gemahlin Katharina darstellen, sind mit dieser Zackenkrone geschmückt. Vielfältig sind die Darstellungen des Herzogspaares am und im Stephansdom, Rudolf hatte schon zu Lebzeiten dafür gesorgt, dass sein Name als »Fundator« – als Gründer des Domes – nicht in Vergessenheit geraten werde. Allerdings ließ er vieles in seiner Geheimschrift anbringen, eine Sitte, die der Zeit entsprach, in der Fälschungen und Geheimschriften durchaus üblich waren. Irgendwie musste man sich vor nicht immer zuverlässigen Mitwissern schützen und da die Wahrheit in manchen Fällen selten an den Tag kam, schreckte man vor diversen Fälschungen nicht