1. veebruaril 1935 valiti Ježov keskkomitee sekretäriks.
Peale Stalini oli üldse veel kolm sekretäri: Ždanov, kes tegutses Leningradis, Kaganovitš, kes tegeles enamasti teede rahvakomissariaadiga ja Ježov, kes tegelikult juhtis kõike parteisse puutuvat. Stalin kutsus Ježovi enda juurde sagedamini kui teisi parteijuhte, ta usaldas Ježovi, hindas tema usaldusväärsust, kindlat tegutsemist ja ustavust. Veel sagedamini võttis Stalin vastu vaid Molotovi, kes oli valitsusjuht ja riigi teine mees.
Stalini korraldusel süvenes Ježov pisitasa NKVD asjadesse. Ettevaatlik Stalin ei tahtnud anda organitele vahetuid käske mingite kahtlasevõitu ülesannete täitmiseks, ta eelistas anda neid kellegi kaudu. Tema elu viimastel aastatel vahendas neid Beria. 1930. aastate keskel tegi seda Ježov, kes selgitas tšekistidele, mida ja kuidas need tegema peavad.
1936. aasta 26. septembril määrati Nikolai Ježov Jagoda asemele siseasjade rahvakomissariks. Ježov säilitas kõik oma parteilised ametid, ta jäi endiselt nii keskkomitee sekretäriks kui ka Parteikontrolli Komisjoni esimeheks. Kuid poliitbüroo kohustas teda pühendama üheksa kümnendikku oma ajast NKVD-le.
Lazar Kaganovitš kirjutas rasketööstuse rahvakomissarile Sergo Ordžonikidzele: „Viimasel ajal on meie peamine uudis Ježovi ametissemääramine. See on meie isakese suurepärane ja tark otsus, see leidis suurepärast vastuvõttu parteis ja riigis. Ježovi käes edeneb asi kindlasti hästi.”
Järgmises kirjas lisas Kaganovitš: „Võin veel öelda, et Ježovi asjad edenevad hästi! Ta on tugevasti, stalinlikult asja kallale asunud.”
Määramine siseasjade rahvakomissariaati polnud Ježovi jaoks ülendamine. Tema parteilised ametid olid võrreldamatult kõrgemad. Poliitilised otsused tehti ju keskkomitees, rahvakomissariaadid olid vaid kõrgetasemelised täideviijad. Ja Stalin oli leidnud nüüd Ježovi näol ülipüüdliku käsutäitja. Ježov oli mees kõrvalt, ta polnud Lubjankal kellegagi seotud ega kellelegi midagi võlgu. Stalini meelest pidi ta tegutsema tuhat korda aktiivsemalt kui Jagoda, kes oli liiga kõvasti julgeolekuaparaati sisse kasvanud.
Parteiaparaadis otsis Stalin endale abiks targemat meest ja leidis selle noores Georgi Malenkovis, kes hakkas juhatama juhtiva parteikaadri osakonda.
Ježovile jäi alles kabinet Vana väljaku ääres, keskkomitee hoone viiendal korrusel, ta püüdis viibida seal võimalikult sageli. Pääsemiseks viiendale korrusele oli isegi keskkomitee aparaaditöötajatel vaja taotleda eriluba.
Dmitri Šepilov, tulevane välisminister ja Hruštšovi ajal ka keskkomitee sekretär, töötas sel ajal KK teaduse osakonnas. Ükskord kutsuti ta Ježovi juurde. Stalini nimele oli tulnud kiri, milles öeldi, et Astrahani kalakaitse ametis on end sisse seadnud endised aadlikud ja valged ohvitserid. Kiri anti edasi Stalinile. Tema kirjutas sellele: „Sm. Ježovile – koristage rämps ära.”
„Siis me läksimegi hirmuäratava ja kõikvõimsa Ježovi juurde,” meenutab Šepilov. „Meie ees oli väike kõhetu mehike, kelle välimuse iseloomustamiseks sobib ehk kõige paremini sõna „ilge”. Ka tema näolapp oli pisike, näonahal oli ebaterve kollakas varjund. Kastanpruunid rasvased juuksed olid lohakate harjastena püsti. Ühel põsel haavaarm. Kollased ja viletsad hambad. Ja vaid tema silmad jäid kauaks meelde: rohekashallid, puurisid vestluskaaslast kui oherdid, targad silmad, nagu kobral…
Vestluse ajal ta köhis kogu aeg raskesti ja pingutatult. Liikusid kuuldused, et Ježov on tiisikushaige. Ta köhis ja sülitas raskeid kleepuvaid süljelarakaid otse luksuslikule vaibale.”
23. veebruaril 1937. aastal alustas Moskvas tööd kurikuulus VK(b)P KK veebruari-märtsipleenum.
Ježov rääkis tribüünilt kurjakuulutava häälega: „Mitme kuu vältel pole ma täheldanud ühtegi juhust, et mõne rahvakomissariaadi majandusjuht oleks mulle omal algatusel helistanud ja öelnud: „Seltsimees Ježov, see-ja-see on minu meelest kahtlane, midagi on seal korrast ära, tegelge selle inimesega.” Selliseid fakte pole olnud. Sagedasti on nii, et kui tõstatada küsimus mõne kahjuri või trotskisti arreteerimisest, siis püüavad mõned seltsimehed selliseid koguni kaitsta.”
Stalin esines pleenumil ettekandega „Parteitöö puudujääkidest ja abinõudest trotskistlike ja muude kahepalgeliste isikute likvideerimise abinõudest”. Trotskiste nimetas ta kahjurite, diversantide, spioonide ja mõrtsukate põhimõttelagedaks ja jultunud bandeks, mis tegutseb välisriikide luureametite ülesandel.
Stalin rajas terrorile ideoloogilise baasi:
„Mida kaugemale me edasi liigume, seda suuremad on meie edusammud, kuid seda tigedamaks muutuvad ka purustatud ekspluataatorlike klasside jäänused, seda kiiremini hakkavad nad kasutama teravaid võitlusvorme, seda enam teevad nad halba Nõukogude riigile, seda enam haaravad nad ka kõige meeleheitlikumate võitlusvahendite järele, see on „hukkumisele määratute” viimane võte.”
Pleenumi otsuses öeldi: „Jätkata ja viia lõpule siseasjade rahvakomissariaadi, eriti aga Riikliku Julgeoleku Peavalitsuse reorganiseerimine, muutes selle tõeliseks võitlusorganiks, mis tuleb toime partei ja Nõukogude valitsuse poolt saadud ülesannetega meie riikliku ja ühiskondliku julgeoleku tagamisel.”
Mihhail Schreider on meenutanud, et kogunud kokku rahvakomissariaadi juhtivtöötjad, lausus Ježov:
„Te ärge vaadake, et ma olen väikest kasvu. Käed on mul tugevad, stalinlikud.” Seejuures sirutas ta ette mõlemad käed, demonstreerides neid istujatele. „Mul jätkub jõudu ja energiat, et teha lõpp kõigile trotskistidele, zinovjevlastele, buhharinlastele…”
Ta surus käed ähvardavalt rusikasse. Seejärel, vaadates kahtlustavalt kohalolijate poole, ta jätkas:
„Ja ennekõike peame vaenulikest elementidest puhastama oma organid, mul on andmeid, et on neid, kes ähmastavad võitlust rahvavaenlaste vastu…”
Teinud väljendusrikka pausi, lõpetas ta ähvardavalt:
„Ma hoiatan, et panen istuma ja lasen maha kõik – auastmest ja ametikohast hoolimata –, kes julgevad hakata pidurdama võitlust rahvavaenlaste vastu.”
Ježov asuski innukalt tegutsema. Keegi poliitbüroo liikmetest läks kord keskkomitees Ježovi juurde, kes oli just äsja Lubjankalt kohale jõudnud, nägi, et tema kuub oli vereplekkidega määritud, ning küsis:
„Mis juhtus?”
„Selliste plekkide üle võib uhkust tunda,” vastas Ježov. „See on revolutsiooni vaenlaste veri.”
1937. aasta märtsis esines Ježov KK pleenumil ettekandega, milles ründas karmilt NKVD tegevust, rääkis läbikukkumistest juurdlemisel ja agentide töös. Ježov alustas julgeolekuaparaadi massilist puhastamist. Ta tõi sinna uusi inimesi, kes hakkasid tööle sama innukalt kui rahvakomissar ise.
Ježov kõrvaldas organitest 5000 meest ja võttis sama palju uusi asemele. Ajaloolaste Aleksandr Kokurini ja Nikolai Petrovi andmeil töötas sel ajal julgeolekuorganeis kokku 25 000 operatiivtöötajat. Kõrgema haridusega oli neist 1 protsent, üle 70 protsendi oli algharidusega.
Veel Jagoda ajal, 1936. aasta juulis oli NKVD kaadriosakond andnud korralduse võtta GUGB operatiivtööle ainult ÜK(b)P liikmeid ja kandidaate ning ÜLKNÜ liikmeid, kes on teinud läbi teenistuse Punaarmees või siis on sellest vabastatud ning kellel on vähemalt seitse klassi haridust. Pisut suurema haridusega seltskond ilmub Lubjankale alles pärast sõda.
Keskkomitee 1937. aasta juunipleenumil esines ettekandega Ježov. Ta ütles, et eksisteerib konspiratiivne kontrrevolutsiooniline põrandaalune liikumine, et riik on uue kodusõja lävel ja et ainult julgeolekuorganid targa Jossif Vissarionovitš Stalini juhtimisel on suutelised seda ennetama.
Juuni alguses said rahvusvabariikide keskkomiteed, oblasti- ja kraikomiteed keskkomiteest Stalini allkirjaga