Już niedługo od zagadnień praktycznych przejdziemy do moralnych, ponieważ granica między nimi jest cieńsza, niż się zdaje. Od czasu rewolucji francuskiej każdej fali nowych wynalazków towarzyszą spekulacje o tym, jak to czysta, ścisła nauka rozwikłać może mgliste dylematy moralne. Nigdy tak się nie stało, lecz a nuż teraz nastąpi przełom, a to za sprawą odurzającej potęgi liczb. Najsłynniejszą wersję tej groźnej idei sformułował nasz stary znajomy Jeremy Bentham. Panoptykon nie był jego jedynym wynalazkiem. W 1789 roku Bentham opracował rachunek szczęśliwości, coś w rodzaju algorytmu, który miał mierzyć sprawiedliwość każdej decyzji – obliczalną, zdaniem autora, na podstawie tego, czy zwiększa ona przyjemność i redukuje cierpienie większości ludzi. Jego protoalgorytm uwzględniał takie zmienne jak intensywność, czas trwania i płodność. Bentham był utylitarystą: uważał, że konsekwencje danego czynu wyznaczają jego moralną wartość. Dlatego wielbił maszyny. Konsekwencje, w odróżnieniu od nieostrych pojęć etycznych jak „honor” czy „obowiązek”, da się zmierzyć i zaszufladkować.
Bentham nie miał ani mocy obliczeniowej, ani danych, dzięki którym jego rachunek mógłby naprawdę zadziałać. Wyobraźmy sobie jednak algorytm obdarzony dostępem do arcypotężnej bazy zawierającej informacje o ludziach: ich nastrojach, zdrowiu, szczęściu, stanie cywilnym, majątku, wieku i tak dalej. Na podstawie powyższych zmiennych rachunek szczęśliwości 2.0 mógłby określić prawdopodobne rezultaty jakiejś decyzji i podać łączny wynik, żeby łatwiej nam było dokonać wyboru. Być może moglibyśmy nawet zaprogramować go pod kątem własnych przekonań.
Ja: Jestem utylitarystą. Czy powinienem kupować żywność ekologiczną?
RS 2.0: Na podstawie danych na temat rolnictwa ekologicznego, danych na temat emisji spalin podczas transportu, informacji o dopłatach do rolnictwa zestawionych ze wzrostem gospodarczym i z założonym szczęściem krajowym udziela się odpowiedzi „tak” z prawdopodobieństwem określonym na 62 procent.
Ja: Zajmuję się deontologią i wyznaję imperatyw kategoryczny. Czy możesz sprawdzić, czy podczas produkcji tych butów sportowych nikt nie został niepotrzebnie skrzywdzony (a jeśli nie, kup mi, proszę, jedną parę)?
RS 2.0: Nie zamówiłem tych butów. Radzę rozważyć zmianę marki.
I tak dalej24.
Oczywiście rachunek szczęśliwości zawsze miałby za mało danych i dawałby bardzo uproszczone wyniki – byłby zimną, wyrachowaną maszyną niezdolną uchwycić subtelności ludzkich wyborów. To samo zresztą mówiono swego czasu Benthamowi. A przecież i tak sięgano by po jego wynalazek, bo w obliczu trudnych decyzji ludzie (a z mojego doświadczenia wynika, że także instytucje rządowe) łatwo ulegają liczbom i danym, nawet bardzo niedoskonałym. Liczby odurzają, ponieważ obiecują odpowiedź czystą, ścisłą i bezstronną. Algorytmy upajają dwakroć silniej, bo wydaje się, że te liczydła – korzystające z milionów przykładów – działają obiektywnie i logicznie.
Jeśli ktoś chce, niech twierdzi inaczej, ale już teraz powierzamy maszynom wybory moralne. W swojej niedawnej książce Broń matematycznej zagłady Cathy O’Neil udokumentowała dziesiątki sytuacji, w których ważne decyzje – związane na przykład z polityką zatrudnienia, oceną nauczycieli lub rozmieszczeniem funkcjonariuszy policji – z powodzeniem powierza się lodowato skutecznym algorytmom z zastrzeżonymi danymi, choć przecież wybory te mają istotny aspekt moralny i poważne konsekwencje25. Mogę sobie wyobrazić, jak ten rodzaj utylitarnego myślenia – nacechowanego wiernopoddańczym stosunkiem do danych i SI – opanowuje świat. Byłaby to katastrofa. Algorytmy mogą sprawiać wrażenie bardzo obiektywnych, ale zawsze za punkt wyjścia obierają pytanie sformułowane przez kogoś, kto nimi kieruje. W związku z tym mają tendencję do powielania założeń swoich twórców. Fakt, że w chwili obecnej wszystkie one są dziełem i własnością zgrai bogatych białych komputerowców z Północnej Kalifornii, już zdążył doprowadzić do opłakanych skutków. Algorytmy nigdy nie są neutralne. Na przykład niektóre komisariaty policji decydują o rozmieszczeniu patroli na podstawie systemów z danymi. Tymczasem przestępstwa najczęściej popełnia się w biednych dzielnicach – więc do nich będzie się wysyłać więcej policji. Zasadniczo oznacza to zwiększenie liczby aresztowań w tych częściach miasta. Ta informacja wraca do systemu, tworząc spiralę nierówności i generowanej algorytmicznie krzywdy.
I tu jest pies pogrzebany. Niebezpieczeństwo nie polega na tym, że maszyny wypluwają z siebie kiepskie rozwiązania. Przeciwnie. W miarę swojego rozwoju będą regularnie dostarczać rozwiązań rewelacyjnych i oszczędnych (przynajmniej w porównaniu z ludzkimi), a to jeszcze silniej utrwali ich miejsce w naszym życiu, nawet jeśli skrycie sieją nierówności. Gdyby diagnozy maszyny konsekwentnie okazywały się lepsze od lekarskich, nieetycznie byłoby zlekceważyć jej rady. Władze miejskie dysponujące maszyną, która pozwala im zaoszczędzić pieniądze i obniżyć przestępczość dzięki określonemu rozmieszczeniu sił policyjnych, są szalenie atrakcyjne, nawet jeśli nie rozwiązują żadnych długofalowych problemów.
Dlaczego to zjawisko miałoby pominąć podstawowy obowiązek obywatelski? Już teraz istnieje zatrzęsienie aplikacji, które zaprojektowano w dobrej wierze, by pomóc nam w decyzji, na kogo głosować. Wpisujemy swoje poglądy i preferencje, a maszyna wyrzuca nazwę partii. Prawie pięć milionów Brytyjczyków skorzystało już z aplikacji iSideWith (JestemZa) w kilku różnych wyborach. Fakt, że pięć milionów ludzi poprosiło aplikację, którą ledwo co rozumieli, by doradziła im w spełnieniu fundamentalnego obowiązku obywatelskiego, nie zaniepokoił absolutnie nikogo.
Przed wyborami w 2015 roku w Wielkiej Brytanii mój think tank Demos uczestniczył w projektowaniu podobnej aplikacji. Nazywała się Verto. Uważaliśmy wtedy wszyscy, że to genialny pomysł – sam powtarzałem każdemu, że aplikacja pomoże wyborcom zrozumieć, jak dana partia zapatruje się na taką i taką sprawę. Od tego czasu wykonałem zwrot o sto osiemdziesiąt stopni: uważam, że takie programy zapewniają doraźne ułatwienie, ale na dłuższą metę zabijają w nas krytyczny namysł. Ich miejsce jest na śmietniku.
Jeżeli ktoś chce skorzystać z aplikacji, to dlaczego od razu nie przekaże swojego głosu algorytmowi? Wyborcy, jak powszechnie wiadomo, kiepsko orientują się nawet we własnych preferencjach. Klasyczna teoria demokracji zakłada, że obywatele są czujni i dobrze poinformowani, lecz w rzeczywistości demokracja jest wysoce nieskuteczną formą decydowania. Myślimy zbyt irracjonalnie, a do urn wyborczych idziemy z ciężkim bagażem błędów poznawczych. Wyobraźmy sobie, że jakiś robot wyborczy może przejrzeć całą naszą historię postów, wszystkie lajki nasze i naszych znajomych, a do tego tysiące innych informacji, łącznie z danymi o zarobkach, położeniu geograficznym i wielkości rodziny, i następnie wskazuje kandydata, który najlepiej odpowiada naszym interesom. „Siri, powiedz mi, jak mam zagłosować w referendum unijnym”.
Istnienie SI bystrzejszej od nas (to znaczy nie tyle „inteligentniejszej”, ile zdolnej regularnie podejmować na podstawie danych lepsze decyzje praktyczne) miałoby dla samej istoty polityki i moralności skutki tak doniosłe, że trudno je sobie wyobrazić. Po nieudanych próbach zniszczenia tych maszyn moglibyśmy dojść do wniosku –