Он долго пользовался правами баловня в культурных кругах, его приглашали на премьеры как почетного гостя. Но после того как в 1976 году всемирно известный режиссер Ингмар Бергман был обвинен в сокрытии доходов от налогообложения и унизительным образом арестован во время репетиции в Королевском драматическом театре, популярность Пальме упала. Хотя с Бергмана в итоге обвинение сняли, шведам казалось, что государство несправедливо избрало его мишенью из-за его славы. Приглашения больше не сыпались на Пальме.
Были у него и могущественные враги в СМИ. Большинство газет в Швеции пользовались независимостью, получая финансирование не от социалистов. Помимо этого, Пальме умудрился обрести врага в лице самого влиятельного шведского журналиста. Ян Гийу, репортер социалистического журнала Folket i Bild Kulturfront, обнаружил, что социал-демократическая партия под началом Пальме прибегала к помощи Информационного бюро (ИБ), военной службы разведки, в собственных интересах, среди прочего для того, чтобы записывать разговоры лиц, заподозренных в симпатиях к коммунистам. Результатом стало подобие уотергейтского скандала.
Но Пальме разыграл свои карты лучше, чем президент Никсон. Он остался на посту, а вот Гийу и его коллега журналист Петер Блатт даже получили по году тюрьмы за шпионаж. Однако такого противника, как Гийу, лучше не задевать. Несколько лет спустя он напал на Пальме в связи с делом Гейера. Выяснилось, что шведские политики во главе с министром юстиции Гейером были частными клиентами проституток. Пальме едва ушел от критики: его помощники, представитель полиции Ханс Хольмер и пресс-секретарь Гейера Эббе Карлсон, приложили руку к официальным опровержениям, основанным на откровенной лжи.
Последней попыткой Гийу задеть Пальме стало так называемое гарвардское дело, в котором не нашлось виновника, но которое напрямую касалось морального облика премьера. Во время интервью по радио Гийу прямо спросил Пальме, заплатит ли он налоги со стипендии своего сына Иоакима, которой тот был обязан лекциям отца в Гарварде. Улоф, который обычно не лез за словом в карман, замялся и только потом бросился опровергать.
Как только в разных слоях общества появились горячие противники Пальме, остановить их уже было невозможно. Начались оппозиционные кампании. В газетах печатали карикатуры на Пальме – с крючковатым носом, плохими зубами и темными кругами под глазами. При этом были и другие, те, кто, очевидно, не находил в его внешности ничего смешного или отталкивающего. Некоторые женщины, и среди прочих актриса Ширли Маклейн, заявляли, что состояли в любовной связи