В 1928 году выступил против усиленной коллективизации, предлагая эволюционный путь, когда кооперация и общественный сектор (многоукладная экономика) будут постепенно экономически вытеснять индивидуальное хозяйство, а кулаки не будут подлежать устранению как класс, а будут постепенно уравнены с остальными жителями деревни.
Сначала Бухарин помог Сталину одолеть Троцкого, а затем – Каменева и Зиновьева. В борьбе с последними Николай Иванович отчаянно отстаивал положительную роль НЭПа, причем зашел настолько далеко, что обратился к крестьянству с призывом «Обогащайтесь!» Сталин объявил это перегибом, отмежевавшись от Бухарина. Вскоре и Николай Иванович признал свою неправоту.
В опубликованной в «Правде» статье «Заметки экономиста» Бухарин объявил единственно приемлемым бескризисное развитие аграрного и индустриального сектора, а все другие подходы (в первую очередь сталинский) – «авантюристическими». Это, однако, противоречило курсу Сталина на всеобщую коллективизацию и индустриализацию.
Политбюро осудило выступление Бухарина, а тот в полемике в ответ на требование генерального секретаря «прекратить линию торможения коллективизации» назвал Сталина «мелким восточным деспотом». В ноябре 1928 года Пленум ЦК назвал позицию Бухарина, Рыкова и Томского «правым уклоном» (в противоположность «левому уклону» Троцкого).
На апрельском Пленуме ЦК и ЦКК (1929) Сталин заявил, что «вчера ещё личные друзья, теперь расходимся с ним в политике». Пленум завершил «разгром группы Бухарина», а сам Бухарин был снят с занимаемых постов. Сталин предлагал назначить Бухарина на почётный, но крайне неблагодарный пост наркома просвещения, однако сам Бухарин попросил дать ему тихую должность начальника Научно-технического управления Высшего совета народного хозяйства.
К. Е. Ворошилов писал 8 июня 1929 г. Г. К. Орджоникидзе:
«Бухарин умолил всех не назначать его на Наркомпрос и предложил, а затем настаивал на НТУ. Я поддержал его в этом,