Andropovi luuletused olid üldiselt asjaarmastajalikud, kuid üks luuletus on siiski märkimist väärt. Kord saatsid Bovin ja Arbatov talle mingil puhul õnnitluse ja avaldasid kerget kartust, et võim rikub inimesi. Andropov vastas neile luuletusega:
Сбрехнул какой-то лиходей,
Как будто портит власть людей.
О том все умники твердят
С те… пор уж много лет подряд,
Не замечая (вот напасть),
Что чаще люди портят власть. 9
Arstide kohtuotsus
Juri Andropov nihkus rahvusvahelise ideoloogia valdkonnas edukalt ülespoole. Hruštšov andis talle ülesande teha Lenini järjekordse juubeli tähistamisel ettekanne. Igal aastal korraldati Lenini sünnipäeval Moskvas pidulik koosolek ja keegi partei juhtkonnast pidas seal pikema kõne. See oli erilise usalduse märk, mis andis tunnistust, et esinejal on kõrge positsioon ja ta on sisenemas suurde poliitikasse.
1964. aasta 22. aprillil kirjutas välisministri asetäitja Vladimir Semjonov oma päevikusse:
„Olin Iljitši 94. sünniaastapäeva tähistamiseks korraldatud pidulikul istungil…
Andropovi ettekanne oli kohati päris huvitav, kuid stiililt väga keeruline – lakkamatus reas õigeid seisukohti, mida illustreerisid faktid ja näited. Üldiselt on Andropov praegu tõusuteel, räägitakse, et ideoloogiaküsimustes on ta väga viljakas.”
Järgmisel päeval märkis Semjonov päevaraamatusse:
„Andropovil, vaesekesel, on tihti hüpertooniatõve hood.”
Pärast seda kui Hruštšov ametist kõrvaldati, algas keskkomitee aparaadis reorganiseerimine – vabaneti Hruštšovi loodud struktuuridest.
1965. aasta 12. mail koristati Andropovi rõõmuks ära tema konkurendid – keskkomitee presiidiumi otsusega kaotati sotsialismimaadega majanduslikke sidemeid arendanud osakond. Osakonna senine juhataja Boriss Mirošnitšenko viidi üle välisministeeriumisse, sealt edasi Moskva rahvusvaheliste suhete instituudi rektoriks ja hiljem saadikuks Kanadasse.
Kuid Andropovi osakonda tekkis väliskaubanduse ja sotsialismimaadega majandussidemete arendamise sektor (seitse töötajat).
Ühtlasi tegi ta osakonnas ka väiksemaid ümberkorraldusi. Ta likvideeris sotsialismimaade olukorda analüüsivate materjalide toimetuse ja informatsiooni allosakonna, sest Fjodor Burlatski ei meeldinud uutele ülemustele ja arvati keskkomitee koosseisust välja. Kuid see-eest tekkisid eraldi Kuuba sektor (neli töötajat), 12-liikmeline konsultantide rühm ja sotsialismimaadega arendatavate parteidevaheliste ühiskondlike, kultuurialaste, teaduslike ja kohalike sidemete sektor (viis töötajat).
Kokku töötas osakonnas nüüd juba 116 inimest, Andropovile oli ette nähtud üks esimene asetäitja ja kolm lihtasetäitjat.
1967. aasta suvel tõstatas Andropov küsimuse veel ühe konsultantide rühma moodustamisest – majandusküsimuste alal. Keskkomitee sekretariaat oli tema ettepanekuga nõus siis, kui Andropov ise oli juba minemas KGBsse. Keskkomitee sekretariaadi otsusega 1967. aasta 27. juunist moodustati kolmeliikmeline rühm, juhtima hakkas seda tulevane akadeemik Oleg Bogomolov.
Kuid esialgu ei suutnud Andropovi ümberkorraldused kompenseerida seda keerukat olukorda, kuhu ta oli sattunud pärast Hruštšovi kukutamist. Lisaks kõigele suri 1964. aasta 17. mail 84-aastasena tema peamine soosija Otto Kuusinen. Alles pärast Kuusineni surma lubati naasta Soome tema endisel naisel Aino Kuusinenil, kes naise enda sõnul oli „juba kümme aastat unistanud pääseda välja Nõukogude riigist, kus minu inimõigusi jalge alla tallati”.
Andropov jäi nüüd ebameeldivasse üksindusse ega teadnud, milliseks tema saatus kujuneb, kas uus juhtkond tahab äkki ka temast vabaneda. Ta ei sobitunud Šelepini „komnoorte” võimsasse rühmitusse. Uue valitsusjuhi Kossõginiga olid tema suhted päris halvad. Suslovile, kellest oli saanud riigi peaideoloog ja kelle tähtsus aina kasvas, ta samuti eriti ei meeldinud.
Akadeemik Aleksandr Jakovlev rääkis mulle:
„Kui ma olin suursaadik Kanadas, kihutati kolmteist inimest spioneerimise eest riigist välja. Andropov, kes oli KGB esimees, nõudis poliitbüroos, et mind maha võetaks. Suslov, kes muide oli seotud ka minu väljaarvamisega keskkomiteest, lausus karmilt:
„Seltsimees Andropov, nii palju kui mina aru saan, ei määranud seltsimees Jakovlevi Kanadasse saadikuks mitte KGB.” Andropov lausa kangestus. Ta kartis Suslovit…”
Pärast Brežnevi võimuletulekut taotlesid teise sekretäri kohta Mihhail Suslov ja Andrei Kirilenko. Nad mõlemad said endale kabineti keskkomitee peahoone viiendal korrusel, seega samal korrusel, kus istus Brežnev. See suurendas nende tähtsust lausa silmanähtavalt. Brežnevi valitsemise esimestel aastatel võitlesid nad õiguse eest seista peasekretäri kõrval ja püüdsid teineteiselt volitusi haarata. Kuid Leonid Iljitš ei kiirustanud kumbagi eelistama. See tekitas keskkomitee aparaadis täiendavaid pingeid.
Andropov oli segaduses: kui ta oli mingi küsimuse Susloviga kooskõlastanud, tuli tal seda kooskõlastada ka Kirilenkoga, et hilisemaid ebameeldivusi vältida. Kuid Kirilenko võis anda Suslovi korraldusele otse vastupidise käsu ja siis oli Andropov juba päris tobedas olukorras, teadmata, kelle korraldust eelistada.
Valentin Falin, endine suursaadik Saksamaa Liitvabariigis ja endine keskkomitee sekretär rahvusvaheliste küsimuste alal, on kirjutanud:
„Intellekti poolest erines ta teistest juhtkonna liikmetest märgatavalt, mis talle sel ajal, kui ta oli alles teisejärgulistel ametikohtadel, kasuks ei tulnud.
Kolleegide vastuvaidlemist välistavad otsused ja nende jultunud käitumine solvasid teda, muutsid ta kaitsetuks, ta tõmbus endasse. Sellest said alguse ka tema keerukad suhted teiste poliitbüroo liikmetega ja juhtivate ministritega siis, kui ta ise juba tippjuhtkonnas oli.”
Isegi siis, kui Andropov sai KGB esimeheks, tuli tal ikka veel laveerida selle ilma vägevate vahel. KGB esimees kuulus loomulikult vaid peasekretäri nomenklatuuri, kellelegi teisele ei pidanud ta aru andma. Kuid paljude otsuste tegemisel sõltus ta ometi ka teistest keskkomitee sekretäridest. Ja muidugi ei saanud ta jätta arvestamata teiste poliitbüroo liikmete arvamusega. Muidu oleks ta kähku nahka pandud.
Kõige raskem aga oli ikkagi leida ühist keelt Kirilenko ja Susloviga, kes ei saanud omavahel läbi ega sallinud eriti ka Andropovit. Mida üks toetas, seda püüdis teine tagasi lükata. Kui Suslovit polnud kohal – oli ta siis puhkusel või haige –, siis juhtis keskkomitee sekretariaati Kirilenko, kes mõnikord isegi tühistas Suslovi poolt heaks kiidetud otsused. Kuid kõik tähtsamad otsused, eriti kaadrialased, võeti vastu keskkomitee sekretariaadis. Alles hiljem õppis Andropov kellegagi kolleegidest vaieldes lausuma pehmelt, kuid kindlalt:
„Ega minagi pole riigis just viimane mees…”
Andropovi austajad leiavad, et nende šeff tundis suurt muret selle pärast, et pärast Brežnevi võimuletulekut on riigis toimumas konservatiivne pööre, eemaldumine stalinismivastase 20. kongressi otsustest. Pigem muretses Andropov küll selle pärast, et teda ei märgata, ta närveeris ja kartis, et temast võidakse üldse loobuda. Ta üritas Brežnevile meeldida, kuid ei teadnud, kuidas seda teha.
Georgi Arbatov on meenutanud, et Andropov oli väga murelik ja ebakindel, kui ülemused teda kritiseerisid. Ta kartis ülemusi. 1965. aasta jaanuaris arutati keskkomitee presiidiumis Nõukogude Liidu välispoliitikat. Andropovit nahutati kõvasti selle eest, et ta ei lähtu alati klassipositsioonilt. Eriti teravalt kritiseerisid