Die beiden Parlamentsmandate übte er allerdings nur kurz aus, da seine treuen Dienste ihm bald einen weiteren prestigeträchtigen Posten bescherten. Schon ein Jahr nach der Gründung des Nationalstaates ernannte ihn der Kaiser 1872 auf Vorschlag des Kanzlers zum Gesandten des neuen Reiches in Konstantinopel. Vier Jahre später kletterte er auf der diplomatischen Karriereleiter weiter nach oben und wurde Botschafter am Quirinal in Rom. Große politische Bedeutung erlangte er in dieser Stellung allerdings nicht. Im Gegenteil: In den Arbeitsbeziehungen zum Auswärtigen Amt zeigte sich bald, dass der Quereinsteiger Keudell als persönlicher Protegé des Kanzlers zwar akzeptiert, aber politisch nicht für voll genommen wurde. Sein Vorschlag, ein Bündnis mit Italien und Österreich anzustreben, fand in Berlin lange kein Gehör. Friedrich von Holstein, die graue Eminenz des Auswärtigen Amtes, verhöhnte die Idee im Herbst 1880 als „phantastischen Plan“. Als nur zwei Jahre später doch ein solcher Dreibund abgeschlossen wurde, blieb Keudell bei den Verhandlungen weitgehend außen vor. All seine Bemühungen, Anfang der 1880er Jahre auf einen leitenden Regierungsposten zurück nach Deutschland zu wechseln – 1880 war er als Staatssekretär des Auswärtigen Amtes im Gespräch, drei Jahre später gar als Vizekanzler –, scheiterten am Widerstand des Berliner Ministerialapparates. Zwar genoss er nach wie vor das Vertrauen Bismarcks und diverser Kreise des Hofes, in die er über die Jahre vorgestoßen war. Die Funktionseliten im Auswärtigen Amt lehnten ihn aber rigoros als unqualifiziert ab, allen voran Holstein und Bismarcks Sohn Herbert, der 1886 selbst die Leitung des Ministeriums übernahm. Letzterer sorgte schließlich dafür, dass Keudell im März 1887 ganz aus dem diplomatischen Dienst ausschied.
Im Ruhestand widmete er sich wieder ganz der Muse der Musik. Bereits 1883 hatte er nur ein Jahr nach dem Tode Hedwigs erneut eine begabte Pianistin geheiratet. Die 37 Jahre jüngere Alexandra von Grünhof (1861–1933) war als Tochter des Herzogs Ernst von Württemberg abermals eine gute Partie. Gemeinsam mit ihr verkehrte und musizierte er in den folgenden Jahren regelmäßig mit Joseph Joachim, dem bedeutendsten Violinisten der Zeit, und Anton Rubinstein, dem berühmten russischen Pianisten und Dirigenten. Aus der Ehe gingen drei Kinder hervor. Neben der Tochter Hedwig umfasste die Familie zwei Söhne, Walter (1884–1973) und Otto (1887–1972), die später in der Weimarer Republik zum Reichsinnenminister beziehungsweise Ministerialrat aufsteigen sollten. Robert von Keudell verstarb schließlich 1903 im westpommerschen Königsberg in der Neumark.7
Sein Namensvetter Robert Lucius Ballhausen wurde am 20. Dezember 1835 in Erfurt als eines der jüngsten von elf Geschwistern in eine reiche Unternehmerfamilie geboren. Sein Vater war der Textilfabrikant Sebastian Lucius (1781–1857), der mit der Herstellung von Wollstrümpfen ein Vermögen verdiente, 1845 die Erfurter Industrie- und Handelskammer gründete und zahlreiche wohltätige Einrichtungen in der Stadt stiftete, darunter ein Krankenhaus, ein Altenheim und eine Erziehungsanstalt. Einer der älteren Brüder Roberts bezeichnete die Familie später einmal als die „Buddenbrooks von Erfurt“. Diese großbürgerliche Herkunft garantierte Robert eine exzellente Ausbildung. Nach einigen Jahren am Königlichen Gymnasium in Erfurt besuchte er das renommierte Gymnasium Paulinum in Münster und erhielt zusätzlich Privatunterricht. Anschließend studierte er Naturwissenschaften und Medizin in Heidelberg, wo er in der Studentenverbindung Corps Vandalia aktiv war. 1856 wurde er gemeinsam mit zwei anderen „Vandalen“ wegen eines Disziplinarvergehens zwangsextramatrikuliert und von seinen Verbindungsbrüdern mit allen Ehren im Rahmen eines sogenannten Comitats – des letzten in der Heidelberger Universitätsgeschichte – aus der Stadt verabschiedet. Daraufhin schrieb er sich an der Universität Breslau ein, an der er zwei Jahre später in Medizin promovierte.8
Nach seinem Studium folgte er in die Fußstapfen seines ältesten Bruders August, der nach seiner Kaufmannslehre fünf Jahre durch Nordamerika getourt war, und begann das Reisen. Zuerst nahm er 1860 für einige Monate als Mitglied des medizinischen Begleitpersonals am spanischen Marokkofeldzug teil, dann schloss er sich als Schiffsarzt der von Friedrich von Eulenburg geleiteten preußischen Ostasienexpedition an, die Freundschafts-, Handels-, und Schifffahrtsverträge mit den Ländern des fernen Ostens abschließen sollte. Diese Mission führte ihn zwischen 1860 und 1862 nach Ceylon, China, Hongkong, Korea, Siam und Japan, das sich gerade erst dem Westen geöffnet hatte. Zurück in Deutschland trat er nach wenigen Monaten im heimischen Erfurt in die preußische Armee ein. 1864, 1866 und 1870 nahm er als Leutnant beziehungsweise später Oberstleutnant an den drei Einigungskriegen gegen Dänemark, Österreich und Frankreich teil. Am Abend nach der Schlacht von Königgrätz am 3. Juli 1866 begegnete er Bismarck zum ersten Mal persönlich, als dieser ihn im Vorbeireiten mit einen Bekannten verwechselte und ihm die Hand ausstreckte.9
1870 zog Ballhausen – nach einem erfolglosen Versuch bei den vorangegangenen Wahlen – für die Freikonservativen in das Preußische Abgeordnetenhaus ein. Im selben Jahr gelang ihm bei einer Nachwahl in einem der Erfurter Wahlkreise auch der Sprung in den Norddeutschen Reichstag. Nach der Reichsgründung wurde er auch in den gesamtdeutschen Reichstag gewählt und stieg 1879 zu dessen Vizepräsidenten auf. Mit diesem parlamentarischen Engagement war er in seiner Familie nicht alleine. Alle drei seiner älteren Brüder waren in den 1870er und 1880er Jahren ebenfalls Abgeordnete im Preußischen Abgeordnetenhaus beziehungsweise im Reichstag, und das bemerkenswerter Weise für drei unterschiedliche Parteien. August, der sich als Maler und Gutsbesitzer betätigte, war Reichstagsabgeordneter für das Zentrum. Ferdinand, der die Leitung der väterlichen Textilfabrik übernommen hatte, gehörte im Reichstag und im Preußischen Landtag wie Robert den Freikonservativen an. Eugen, ein erfolgreicher Chemiker, der die Farbwerke Hoechst mitbegründete, vertrat die Nationalliberalen im Preußischen Abgeordnetenhaus.
Letzterer war es auch, durch den Robert als junger Abgeordneter in engeren Kontakt mit Bismarck kam. Eugen hatte 1860 Maximiliane Becker geheiratet, eine Tochter des Frankfurter Malers Jakob Becker, bei dem Bismarck während seiner Zeit am Bundestag in den 1850er Jahren ein- und ausging. Über die gemeinsame Bekanntschaft zu den Beckers entstanden nach Roberts Eintritt in den Berliner Politikbetrieb bald ein vertrauensvolles Verhältnis und schließlich eine innige Freundschaft zu Bismarck. Tatsächlich wurde Robert zu einem fast täglichen Gast im Hause Bismarck, besonders bei den legendären nachmittäglichen Essgelagen des Kanzlers. Dabei spielte neben persönlicher Sympathie natürlich auch politisches Kalkül eine Rolle. Robert war für Bismarck ein wichtiges Bindeglied zum Parlament. Durch ihn konnte er nicht nur seine Hausmacht bei den Freikonservativen pflegen, sondern auch das Netzwerk der Lucius-Brüder ausnutzen und Bande zu den anderen großen Fraktionen knüpfen. So unterhielt Bismarck während der Zeit des Kulturkampfes über das enge Verhältnis zwischen Robert und August eine indirekte Verbindung zum Zentrum, die 1878 eine wichtige Rolle bei der Annährung zwischen ihm und dem Parteiführer Ludwig Windthorst spielte.
Ein Jahr später wurde Robert auf Wunsch Bismarcks preußischer Landwirtschaftsminister. In den Folgejahren kam es im Zusammenhang mit umstrittenen politischen Entscheidungen immer wieder zu durchaus ernsthaften Meinungsverschiedenheiten, die die Freundschaft der beiden Männer zuweilen belasteten, aber nie zerstörten. Während seiner mehr als zehnjährigen Amtszeit setzte sich Ballhausen besonders für Schutzzölle auf Getreide, die Urbarmachung der preußischen Hochmoore, den Ausbau des Veterinärwesens und die Regulierung der Jagd ein. Bei den Landwirten verschaffte ihm das viel Respekt. Wie sehr er in Produzentenkreisen geachtet wurde, zeigte sich zum Beispiel 1884, als die