Od tamtej pory prawo do prywatności zostało włączone do kodeksów i podjęto liczne kroki, żeby chronić obywateli zarówno przed bezwzględnymi przedsiębiorstwami, jak i apodyktycznym państwem – jedne i drugie bowiem mają powody, by naruszać naszą sferę osobistą. Bez przepisów o prywatności – które pod względem rygoru różnią się ogromnie w poszczególnych krajach – żylibyśmy dzisiaj w świecie totalnej i bezustannej inwigilacji. Obawiam się, że w krajach, gdzie te prawa nie istnieją, podręczne urządzenia, „inteligentne domy” i urządzenia ze sztuczną inteligencją niemal na pewno przyczynią się do stworzenia rządowej kontroli o bezprecedensowym zasięgu19. Moje wątpliwości nie dotyczą jedynie oligarchii i autokracji. Również w wolnych społeczeństwach nigdy nie jesteśmy „zostawieni w spokoju”. Szał danych przysporzył nowych narzędzi nadzoru także władzom demokratycznym i większość stowarzyszeń na rzecz wolności obywatelskich niepokoi się, jak wpłynie to na debatę polityczną i aktywizm. Jak wiele innych osób, z rosnącym zatroskaniem czytam doniesienia o ludziach aresztowanych i oskarżonych za to, że powiedzieli coś, co było wprawdzie obraźliwe i nieprzyjemne – ale nic ponadto. Czasem agencje wywiadowcze nie muszą już was nawet szpiegować – wystarczy, że zgłoszą się do firm technologicznych i wyduszą z nich to, czego im potrzeba20.
Inne, dyskretniejsze niebezpieczeństwo wiąże się z nieustannym nadzorem i wymianą danych, które uprawia Mały Brat21. W osiemnastym wieku filozof Jeremy Bentham (o nim więcej za chwilę) wymyślił nowy rodzaj więzienia, który nazwał panoptykonem. Panoptykon został zaprojektowany w taki sposób, żeby jeden strażnik mógł nadzorować wszystkich więźniów naraz, a oni nie wiedzieli, kiedy są pod obserwacją. Już sama taka ewentualność – sądził Bentham – miała zagwarantować, że wszyscy będą się dobrze zachowywać. W naszym współczesnym panoptykonie nie ma jednego strażnika: każdy jest i obserwującym, i obserwowanym. Permanentna widoczność i monitorowanie wymuszają posłuch i uległość. Sytuacja, w której człowiek bez przerwy przebywa pod nadzorem, wiedząc, że jego wypowiedzi są gromadzone i udostępniane, wytwarza miękką, lecz bezustanną autocenzurę. Być może nie czujemy tego, gdy ktoś miota wyzwiska na Twitterze – ale na każdego rozjuszonego trolla przypadają setki cichych użytkowników, podglądaczy, którzy patrzą, lecz nie piszą, bojąc się wściekłej twitterowej tłuszczy, kolekcjonerów danych, wścibskiego pracodawcy lub zgrai zawodowych pieniaczy czyhających na okazję, by wpaść w złość.
Ten stan niszcząco wpływa na zdolność obywateli do wydawania sądów moralnych w codziennym życiu. Aby rozwijać zdolność samodzielnego myślenia, ludzie muszą mówić kontrowersyjne rzeczy, popełniać błędy i uczyć się na nich. Tymczasem media społecznościowe wytwarzają dziwaczną politykę-widowisko, w ramach której wszyscy odgrywają pewne role, wygłaszając opinie dopuszczalne w sferze publicznej (Zła opinia! Dobry człowiek!), co ogranicza szanse na autentyczną ewolucję osobowości22. Dla naszego rozwoju ważna jest zdolność zapominania, ponieważ dzięki zmienianiu przekonań dojrzewamy. Coraz więcej ludzi – tak sławnych, jak i nieznanych – przekonuje się na własnej skórze, że technologia cyfrowa nie zapomina nigdy. Bywa to korzystne, gdy na jaw wychodzą motywacje i uprzedzenia możnych tego świata. Ale w sytuacji, gdy jeden durny wpis zamieszczony na jakimś forum, kiedy piszący był młody i głupi, istnieje wiecznie i w każdej chwili można go odkopać i opublikować ponownie w niezmienionej formie, coraz więcej osób będzie dochodzić do wniosku, że lepiej nigdy nic nie mówić. Taka atmosfera nie sprzyja rozwojowi zdrowych, myślących dorosłych ludzi.
Potęga manipulacji
Drugi problem stanowi rozpraszanie uwagi i manipulacja. Zawsze byliśmy wystawieni na działanie reklam, marketingu, a nawet specyficznego planowania przestrzennego (w supermarketach słodycze są zawsze na wysokości wzroku dziecka). Ale obecna różnica nie polega wyłącznie na skali. Jeśli analitycy lub algorytmy rozumieją nas lepiej niż my sami, to wówczas mogą nami manipulować lub kontrolować nas, a my nie będziemy w stanie tego odkryć ani zrozumieć.
Wyobraźmy sobie pewien scenariusz. Oto spersonalizowany system nadawczy nauczył się wysyłać ci komunikaty sformułowane językiem, o którym wie – na podstawie twoich wcześniejszych wypowiedzi – że uznasz go za autentyczny i ciekawy. System montuje unikatowe, sponsorowane tłity, które grają na twoich uczuciach, podaje je w czasie, gdy zwykle jesteś online, i dostraja je do twojego aktualnego samopoczucia. Miałeś spięcie z cudzoziemcem? Wyświetli ci się reklama lokalnego polityka straszącego imigrantami. Posegregowałeś też śmieci – zobaczysz przypomnienie o energii słonecznej nadane przez miejscowy oddział Greenpeace’u.
Są to przykłady względnie przyziemne. Ale co jeśli antysemici zaczną dostawać silnie spersonalizowane jadowite treści, ponieważ system pokazał, że na ich przeglądaniu spędzą więcej czasu? A może dałoby się podnieść sprzedaż leków antydepresyjnych o 20 procent, jeśliby wybrać właściwy moment w tygodniu i podsuwać wybranym ludziom wiadomości odwołujące się do niskiej samooceny? A gdyby tak starannie sformułowane ogłoszenia o chwilówkach i grach hazardowych wyświetlały się w chwili, gdy ktoś jest rozbity psychicznie lub brak mu gotówki?
Kwestia, na ile nasze wybory bywają wolne, zależy poniekąd od naszych poglądów na wolną wolę (filozofowie nazywani twardymi deterministami podważają w ogóle jej istnienie). Tak czy inaczej, algorytmy oparte na big data nasuwają istotne pytania dotyczące nowych ośrodków władzy, wpływu i kontroli. Kiedyś nasze społeczeństwo reagowało na ukrytą perswazję niepokojem tak wielkim, że amerykańska Federalna Komisja ds. Komunikacji ogłosiła, iż stosowanie przekazu podprogowego jest „sprzeczne z interesem publicznym”, choć nie było dowodów na to, że te zabiegi kiedykolwiek na kogokolwiek wpłynęły. Nikt jednak nie ma bladego pojęcia, jak funkcjonuje współczesna manipulacja. Bardzo wątpię, by znalazł się pracownik, który rozumiałby w pełni wszystkie algorytmy swojej firmy, podobnie jak pojedynczy robotnik nie skonstruuje dziś samochodu ani ołówka. Potężne algorytmy zapisane w nieskończonych linijkach kodu kształtują nasz świat, a przez większość czasu człowiek w ogóle w tym nie uczestniczy. Wszystko odbywa się automatycznie za sprawą permanentnych samoulepszających się mechanizmów opartych na sprzężeniu zwrotnym. A że sprawy te są zrozumiałe dla bardzo nielicznych i trzymane pod kluczem – jako współczesny odpowiednik przepisu na coca-colę – większość ustawodawców nie ma pojęcia, gdzie może się zrodzić niesprawiedliwość, ani tym bardziej, jak nad tym wszystkim zapanować.
Za wolność waszą
W miarę jak powstawać będą coraz potężniejsze formy sztucznej inteligencji, dataizm – wzmiankowany już pogląd, że ludzkie decyzje da się opisać za pomocą matematycznych formuł – może już niebawem wstrząsnąć naszą wizją samych siebie. To jest właśnie problem trzeci i najważniejszy. W swojej znakomitej książce Homo Deus Yuval Noah Harari tłumaczy, że od stuleci uważamy się za ostateczne źródło sensów, a swoją wolną wolę za najwyższą formę władzy. To jest nasz mit założycielski: świata nie podbiliśmy, bo byliśmy więksi i silniejsi od innych zwierząt, lecz dlatego że przewyższaliśmy je sprytem. Przypisujemy demokracji wyjątkowy walor moralny i cel, ponieważ uważamy, że ludzka władza osądu