Anderer Meinung war da, zumindest am Anfang, sein Sekretär, der mit Ausnahme des Freitags jeden Abend „ungefähr 1 ½ St[unden]“ allein mit dem Erzbischof beisammen saß17. „Seine Gesinnung ist jedenfalls gut u. er gewiß nicht gesonnen, seinen Rechten etwas zu vergeben. Daß er die Gunst des Lutz nicht schon in den ersten Flitterwochen verscherzen will u. auch in andern Dingen durch Schaden klug werden muß, finde ich erklärlich, besonders da man ihm manchen Floh in das Ohr gesetzt zu haben scheint u. ein Nachfolger es immer besser machen will als sein Vorgänger. Ich selbst komme ganz gut mit ihm aus u. glaube sein Vertrauen schon einigermassen zu besitzen; kann ich dieses einmal für fest begründet erachten, so werde ich mir gelegentlich manche Bemerkungen erlauben, mit denen ich jetzt noch zurückhalten zu sollen glaube, um das Kind nicht mit dem Bade auszuschütten. Ganz still verhalte ich mich übrigens auch jetzt nicht u. steht mir dabei der Vortheil zur Seite, daß ich befragt u. unbefragt als alter Secretär ihm Manches sagen muß, was zu wissen in seinem eigenen Interesse liegt“, ließ Huber, der Scherr neben mehr „Herz“18 auch größere „Rüstigkeit und Zähigkeit“19 als Steichele attestierte, seinen früheren Rektor wenige Wochen später wissen20, nicht ohne anschließend darauf zu verweisen, dass der Apostolische Nuntius Gaetano Aloisi Masella21 über den nunmehrigen Oberhirten eine „etwas ungünstigere Ansicht“ habe. Allein „ich schreibe dieß theils dem verschiedenen Naturel eines hitzigen Italieners u. eines kalten u. langsamen Deutschen, theils andern äußern Gründen zu“, fügte der Erzbischöfliche Sekretär erläuternd bei.
Freilich, bereits ein halbes Jahr später schlug Huber keine so moderaten Töne mehr an. Zunächst äußerte er gegenüber Steinhuber „vorläufig“, dass es ihm „unter Erzbischof Gregor im Palais u. was damit zusammenhängt besser gefallen“ habe, weshalb er „etwas vom s. g. Pfarrerfieber befallen“ sei22. Bald darauf gestand er unverblümt ein: „In dem günstigen Urtheile über meinen R[everendissi]mus bin ich unterdessen bedeutend nüchterner geworden u. gar Manches will mir nicht mehr gefallen. Der Verkehr mit Lutz dauert mir bereits zu lange u. ist mir zu häufig, u. die Intimität mit dem Kanonikus Türk23 von St. Cajetan, einem Vertrauten des Lutz, gefällt mir auch nicht. Wenn ich dann bedenke, daß Erzbischof Gregor auch nicht ein einziges Mal zu Lutz ging, weil er es unter seiner Würde hielt, so steigen mir manchmal sehr trübe Gedanken auf. Nach ‚Schwaben’ wird auch noch immer gar so oft gegangen u. ist dadurch bereits das bonmot entstanden, der HH. Erzbischof habe in München zwar ein Palais, aber keine Residenz. Das rege Interesse, welches Erzb. Gregor an allen Vorfällen in der Erzdiözese nahm, sowie die Sorge u. Bemühung für eine gedeihliche Pastoration, die Gregor stets als wichtige Gewissensangelegenheit betrachtete u. behandelte, fehlt in hohem Grade. Mir scheint der gute Herr, der viele Jahre hindurch sich fast nur mit seiner Beschreibung der Diöcese Augsburg24 beschäftigte, dadurch das Interesse für andere Dinge großentheils verloren zu haben. Diese Beschreibung wird auch jetzt noch fortgesetzt. Das sind ungefähr meine Hauptschmerzen.“25
Dass im Erzbischöflichen Palais in München inzwischen ein „etwas anderer Wind“ wehte, musste Huber ebenso im Herbst des gleichen Jahres erfahren, als Steichele ihm durch Generalvikar Dr. Michael Rampf26 mitteilen ließ, er wünsche, dass er „mit der Nuntiatur keine Beziehungen mehr unterhalte, weil ein guter Freund ihm bedeutet habe, daß das von mehreren Seiten übel vermerkt werde. Es schicke sich für den Sekretär des Erzbischofs nicht, daß er so viel mit dem Nuntius verkehre, wie auch der Erzbischof den Sekretär des Nuntius nicht so oft bei sich sehen wollte“27. Damit hatte Huber allerdings kein Problem, wie er seinem früheren Rektor postwendend zu verstehen gab: „Ich für meine Person bin darüber froh, weil ich eine große Plage weniger habe.“ Warum der seiner Ansicht nach durchaus über „gute Eigenschaften“28 verfügende Oberhirte ihm seinen Wunsch jedoch „auf einem Umwege“ habe kundtun lassen, konnte der Sekretär nicht nachvollziehen. Jedenfalls nahm er sich „die Freiheit“, „die Sache zur Sprache zu bringen“ und Steichele „über den Ursprung u. die Ungefährlichkeit“ seiner Beziehungen aufzuklären29.
Eine Besserung im Miteinander zwischen dem Erzbischof und seinem engsten Mitarbeiter trat hierdurch allerdings nicht ein – im Gegenteil. Fünf Monate später sah sich Huber zu folgenden mehr als deutlichen Äußerungen verlasst: „Die Verhältnisse unter dem neuen Erzbischof haben mir, wenn ich ihn auch Anfangs in Schutz genommen habe u. Alles möglichst gut zu interpretiren suchte, doch nie recht gefallen u. werden mir jetzt fast von Tag zu Tag unerquicklicher. ... Was meine Person insbesonders betrifft, so könnte ich zwar tuta conscientia nicht sagen, daß er positives Mißtrauen gegen mich hat; aber das Vertrauen wie unter Gregor scheint mir nicht vorhanden zu sein; überhaupt nicht jenes, wie es zwischen Bischof u. Sekretär nach meiner Ansicht herrschen soll; hiefür liegen auch positive Fakta vor, die ich mir nur sehr schwer anders erklären kann; ich komme mir mehr als nothwendiges Uebel vor. Manches wird allerdings auch auf Rechnung der Naturanlage zu setzen sein, ob aber Alles? Ob und wodurch ich zu diesem Verhältniß vielleicht Anlaß gegeben habe, weiß ich nicht. Aber das weiß ich, daß ich gerade wegen der Lage der Dinge Alles sorgfältig vermieden habe, was mich in seinen Augen als ‚jesuitischen Heißsporn’ hätte erscheinen lassen können; daß ich ihn nach außen hin immer in Schutz genommen habe, weil ich das im Interesse der Sache für Gewissenspflicht hielt u. noch halte; daß ich Unberufenen nie etwas anvertraute, was ihn hätte compromittiren können. Wenn dessen ungeachtet bei der Geschwätzigkeit der Leute, bei den manchmal cursirenden ungünstigen Gerüchten u. bei dem Mangel an vollem Vertrauen von Seite des Clerus (der von Anfang an bestanden u. bisher eher gesteigert als vermindert wurde) auch angebliche Äußerungen von mir colportirt u. ihm hinterbracht wurden, so kann ich das nicht hindern, weiß auch nicht, ob es wirklich der Fall war. Sollte ich vielleicht als Germaniker bei ihm ipso facto zur massa damnata gehören oder ihm ein ‚hunc cave’ beigebracht worden sein, so werde ich deßhalb meinen Grundsätzen doch nie untreu werden. Uebrigens seufzt auch der HH. Gen.Vicar unter analogen Verhältnissen, von den andern Domherrn gar nicht zu sprechen.“30
Noch heftiger fiel Hubers Kritik an Steicheles bisheriger Amtsführung aus: „Für die Diöcese u. ihre Bedürfnisse fast kein Interesse; dem Diöcesanclerus gegenüber große Kälte, verhältnißmäßig