Уралмашем разрабатывалось и производилось оборудование для оборонных предприятий страны. Но особое внимание заводом уделялось изготовлению современной военной техники для обеспечения обороноспособности государства.
В ЦК КПСС заметили молодого и очень толкового руководителя одного из крупнейших в СССР заводов, и Н.И. Рыжкова пригласили для работы в Москву.
В 1975–1979 годах – первый заместитель министра тяжелого и транспортного машиностроения СССР. В 1979–1982 годах – первый заместитель председателя Госплана СССР в ранге министра СССР.
1982–1985 годы – по рекомендации Генерального секретаря ЦК КПСС Ю.В. Андропова Н.И. Рыжкова избрали секретарём ЦК КПСС по экономике, и одновременно он был назначен заведующим экономическим отделом ЦК КПСС.
С 1985 по январь 1991 года – председатель Совета министров СССР.
На посту главы Правительства Советского Союза Н.И. Рыжков особое внимание уделял социально-экономическому развитию страны. Под его руководством были разработаны предложения по переводу экономики страны на рыночные отношения с социальной направленностью и необходимым государственным участием. Он настаивал на сохранении планового управления экономикой, проведении реформирования её эволюционным путем, чтобы избежать возможных социально-экономических потрясений.
Руководил работами по ликвидации последствий катастроф и стихийных бедствий, погашению межнациональных конфликтов:
– в апреле 1986 года возглавил штаб по ликвидации последствий аварии на Чернобыльской АЭС, несколько раз приезжал в зону Чернобыля и соседствующие с ним области Белоруссии и Украины;
– с декабря 1988 по январь 1991 года руководил спасательно-восстановительными мероприятиями после землетрясения в Армении. За большой личный вклад в организацию этих работ в 1998 году в Спитаке установлен бюст Н.И. Рыжкову, а в 2008 году присвоено высшее звание республики – национальный герой Армении с вручением ордена Отечества;
– в мае 1989 года под руководством Н.И. Рыжкова был погашен кровавый межнациональный конфликт в Фергане между коренным населением и турками-месхетинцами, депортированными туда в 1944 году из Грузии;
– в январе 1990 года руководил мероприятиями по урегулированию межэтнического конфликта в Баку.
Также возглавлял работы по погашению конфликтов в Алма-Ате, Тбилиси, Прибалтике.
Важный этап в деятельности Н.И. Рыжкова в этот период – борьба с антиалкогольной кампанией. Благодаря принципиальной позиции Н.И. Рыжкова как главы Правительства трехгодичная антиалкогольная кампания, которая нанесла большой ущерб государству, была прекращена.
Депутат Верховного Совета СССР 9-11 созывов (1974–1989), Верховного Совета РСФСР (1986–1990), народный депутат СССР (1989–1991).
С декабря 1995 по декабрь 1999 года – депутат Государственной Думы Федерального Собрания Российской Федерации II созыва. Руководитель депутатской группы «Народовластие»; член Совета Государственной Думы.
В мае 1999 года Государственная Дума приняла постановление «О создании Комиссии Государственной Думы Федерального Собрания Российской Федерации по изучению и обобщению информации о преступлениях, совершаемых в ходе агрессии Организации Североатлантического договора против Союзной Республики Югославии» (от 12 мая 1999 года) и создала Комиссию, возглавить которую было поручено Н.И. Рыжкову. В целях изучения сложившегося там положения и обсуждения с югославским руководством конкретных мер по прекращению агрессии Н.И. Рыжков как председатель Комиссии неоднократно посещал Белград, а также Сербию, Косово и другие эпицентры боевых действий.
С декабря 1999 по октябрь 2003 года – депутат Государственной Думы Федерального Собрания Российской Федерации III созыва.
С сентября 2003 года по июль 2020 года – член Совета Федерации Федерального Собрания Российской Федерации, представитель от исполнительного органа государственной власти Белгородской области. С июля 2020 года и по настоящее время – сенатор Российской Федерации.
С декабря 2006 года по ноябрь 2011 года возглавлял Комиссию Совета Федерации по естественным монополиям. С декабря 2011 года – член Комитета Совета Федерации по федеративному устройству, региональной политике, местному самоуправлению и делам Севера. Одно из главных направлений его деятельности – выработка предложений по совершенствованию экономической модели страны.
На протяжении более четверти века отдает много времени и сил разнообразной работе по сохранению благодарной памяти потомков о Победе нашего народа в Великой Отечественной войне. Он является одним из основателей Государственного военно-исторического музея-заповедника «Прохоровское поле» и многолетним председателем его попечительского совета. В составе мемориального комплекса воздвигнут храм Петра и Павла, памятник Победы – Звонница, установлены скульптурные композиции «Танковый десант», «Танковое сражение под Прохоровкой. Таран», построен Культурно-исторический