Он курировал весь ВПК, оба военных министерства и органы госбезопасности; именно он курировал Игнатьева. Булганину хотелось послушного министра МГБ. Он по совету Хрущева выбрал Игнатьева и добился его назначения, когда Сталин торопился на юг, в отпуск.
После того, как политические позиции Хрущёва окончательно упрочились (победа в июне 1957 года над «антипартийной группой», в которую также входил Булганин), в марте 1958 года при формировании правительства Верховным Советом нового созыва Булганин не был переназначен на пост председателя Совета министров СССР. Вместо него, по предложению Климента Ворошилова, на этот пост был избран сам Хрущёв. 31 марта 1958 года Булганин в третий раз был назначен председателем правления Госбанка СССР. В августе 1958 года Н. А. Булганин был отправлен в фактическую ссылку в Ставрополь на должность председателя совнархоза.
В сентябре 1958 года Булганина вывели из состава Президиума ЦК КПСС, а 26 ноября 1958 года он был лишён воинского звания Маршала Советского Союза (понижен до генерал-полковника).
«Это случилось после поездки в Таиланд. Был тогда такой порядок: когда наши руководители приезжали из-за границы, то собирали митинг и на нем отчитывались о поездке. Митинги огромные были. В Большом театре, например. Или в Лужниках в зале на 6 тыс. человек. Почему-то Хрущев вылетел в Москву из Таиланда раньше. А позже на другом самолете летел Булганин. Хрущев, не дожидаясь Булганина, открыл митинг и стал держать речь. Он стоял на трибуне, когда неожиданно появился Булганин. Зал встал – и гром аплодисментов. Все ведь считали, что они одно целое, друзья. А Хрущев от таких оваций Булганину будто очумел. Лицо стало обиженным, он сник и, не договорив, сошел с трибуны и уселся за стол. А Булганину все хлопают. С тех пор как какая-то черная кошка пробежала между ними. Дружбы больше не было. Никита не успокоился, пока не добил Булганина. В последний день своей работы в Кремле Булганин вызвал управляющего делами Совмина и меня к себе: "Я теперь ухожу, – говорит, – а председателем будет Никита". Чуть не плачет, бородка трясется. И в утешение-то сказать ему нечего. "Здоровья вам, Николай Александрович", – говорю. Хоть он и стоял в маршальской форме, но вид у него был совершенно жалкий. А вскоре Никита, зная, как Булганин дорожит своим маршальским званием, понизил его в чине до генерал-полковника