Istnieje po prostu wiele różnych dróg prowadzących do wysokiej inteligencji, a tylko niektóre z nich wiążą się z zyskaniem świadomości. Podobnie jak samoloty latają szybciej od ptaków, mimo że nigdy nie wykształciły piór, tak samo komputery mogą znacznie szybciej i skuteczniej rozwiązywać problemy niż ssaki, mimo że nigdy nie rozwinęły uczuć. To prawda, sztuczna inteligencja będzie musiała poprawnie analizować ludzkie uczucia, aby leczyć ludzkie choroby, wykrywać terrorystów, rekomendować ludziom partnerów i kierować pojazdem po ulicy pełnej pieszych. Ale będzie mogła to robić bez konieczności posiadania jakichkolwiek własnych uczuć. Algorytm nie musi odczuwać radości, złości ani strachu, aby rozpoznawać różne biochemiczne wzorce radosnych, rozzłoszczonych czy przestraszonych małp człekokształtnych.
Oczywiście nie jest absolutnie niemożliwe, by SI rozwinęła własne uczucia. Wciąż nie wiemy wystarczająco dużo na temat świadomości, by być tego pewnym. Ogólnie rzecz biorąc, są trzy możliwości, które musimy brać pod uwagę:
1. Świadomość wiąże się jakoś z biochemią organiczną – w taki sposób, że nigdy nie będzie możliwe stworzenie świadomości w systemach nieorganicznych.
2. Świadomość nie wiąże się z biochemią organiczną, lecz z inteligencją – w taki sposób, że komputery mogłyby rozwinąć świadomość, a będą m u s i a ł y to zrobić, jeśli mają przekroczyć pewien próg inteligencji.
3. Nie istnieją konieczne związki między świadomością i biochemią organiczną albo wysoką inteligencją. A zatem komputery mogą rozwinąć świadomość – ale nie w sposób konieczny. Mogłyby stać się superinteligentne, a jednocześnie nie mieć żadnej świadomości.
Przy obecnym stanie wiedzy nie możemy wykluczyć żadnej z tych możliwości. Jednak właśnie dlatego, że tak mało wiemy o świadomości, wydaje się rzeczą mało prawdopodobną, byśmy w najbliższym czasie umieli programować świadome komputery. A zatem mimo ogromnej siły sztucznej inteligencji jej użytkowanie w dającej się przewidzieć przyszłości nadal będzie w jakimś stopniu zależało od ludzkiej świadomości.
Niebezpieczeństwo polega na tym, że jeśli za dużo wysiłku będziemy wkładać w rozwijanie sztucznej inteligencji, a za mało w rozwijanie ludzkiej świadomości, to wówczas niezwykle zaawansowana SI komputerów mogłaby służyć tylko wzmacnianiu naturalnej głupoty ludzi. Jest mało prawdopodobne, byśmy w najbliższych dziesięcioleciach mieli stawiać czoło buntowi robotów, ale być może czeka nas starcie z chmarami botów, które będą umiały wywoływać w nas emocje lepiej niż rodzona matka i wykorzystywać tę niezwykłą zdolność do sprzedawania nam najrozmaitszych rzeczy: samochodów, polityków albo i całych ideologii. Te boty będą umiały rozpoznawać nasze najgłębsze lęki, niechęci i pragnienia oraz wykorzystywać tę możliwość wpływania na nas od wewnątrz przeciwko nam samym. Mieliśmy już przedsmak czegoś takiego podczas najnowszych wyborów i referendów organizowanych na całym świecie, kiedy hakerzy wpadli na to, jak oddziaływać na poszczególnych wyborców dzięki analizowaniu dotyczących ich danych oraz podsycaniu tkwiących w nich uprzedzeń76. Podczas gdy thrillery science fiction zmierzają zwykle do dramatycznej apokalipsy, ognia i dymu, w rzeczywistości może będzie tak, że czeka nas banalna apokalipsa klikania.
By tego uniknąć, mądrze by było, żeby na każdego dolara i na każdą minutę, które inwestujemy w doskonalenie sztucznej inteligencji, poświęcać dolara i minutę na rozwijanie ludzkiej świadomości. Niestety, nie robimy dziś zbyt wiele, by badać i rozwijać ludzką świadomość. Badamy i rozwijamy ludzkie zdolności głównie w związku z najpilniejszymi potrzebami systemu ekonomicznego i politycznego, nie zaś stosownie do naszych własnych długofalowych potrzeb jako świadomych istot. Szef każe mi jak najszybciej odpowiadać na e-maile, ale niespecjalnie go obchodzi moja zdolność smakowania tego, co jem. Wskutek tego sprawdzam e-maile nawet podczas posiłków, tracąc jednocześnie zdolność zwracania uwagi na własne doznania. Naciski wywierane na mnie przez system ekonomiczny każą mi poszerzać i dywersyfikować własny portfel inwestycyjny, ale nie stanowią dla mnie żadnej motywacji, bym poszerzał i dywersyfikował swe współczucie. Dlatego staram się zgłębiać tajniki giełdy papierów wartościowych, a jednocześnie znacznie mniej wysiłku wkładam w zrozumienie głębokich przyczyn cierpienia.
Ludzie są więc podobni do innych udomowionych zwierząt. Wyhodowaliśmy uległe krowy, które produkują ogromne ilości mleka, ale pod innymi względami są zdecydowanie gorsze od swych dzikich przodków, mniej zwinne i mniej zaradne77. Teraz tworzymy potulnych ludzi, którzy produkują ogromne ilości danych i działają jak bardzo skuteczne chipy w ogromnym mechanizmie ich przetwarzania, ale trudno powiedzieć, by te informatyczne krowy maksymalizowały ludzki potencjał. Nie mamy wręcz pojęcia, czym jest pełny ludzki potencjał, ponieważ tak mało wiemy o ludzkim umyśle. Mimo to niewiele wysiłku wkładamy w jego badanie, a zamiast tego skupiamy się na zwiększaniu prędkości połączeń internetowych oraz skuteczności algorytmów opartych na big data. Jeśli nie będziemy uważać, dojdziemy do sytuacji, w której zdowngrade’owani ludzie będą nadużywać zupgrade’owanych komputerów, dokonując spustoszeń w samych sobie i w świecie.
Cyfrowe dyktatury nie są jedynym czyhającym na nas niebezpieczeństwem. Oprócz wolności liberalny porządek ogromnie szanuje też wartość, jaką jest równość. Liberalizm zawsze wysoko cenił równość polityczną, a stopniowo zdał sobie sprawę, że niemal tak samo ważna jest równość ekonomiczna. Bez zabezpieczeń społecznych oraz odrobiny równości ekonomicznej wolność bowiem nic nie znaczy. Ale tak jak algorytmy oparte na big data mogą wymazać wolność, mogą zarazem przyczynić się do powstania największych nierówności społecznych, jakie kiedykolwiek istniały. Całe bogactwo i cała władza mogą się skupić w rękach wąskiej elity, podczas gdy większość ludzi będzie cierpiała nie z powodu wyzysku, lecz z powodu czegoś znacznie gorszego – z powodu braku znaczenia.
4
RÓWNOŚĆ
Przez ostatnich kilka dziesięcioleci na całym świecie głoszono, że ludzkość kroczy ku równości, a globalizacja i nowe technologie tylko nam w tym marszu pomagają. Tymczasem w XXI wieku możemy być świadkami największych nierówności społecznych w dziejach. Mimo że globalizacja oraz internet zbliżają do siebie różne kraje, grożą jednocześnie powiększaniem rozdźwięku między klasami. Choć więc ludzkość osiągnie niebawem stan globalnego zunifikowania, sam nasz gatunek może się rozpaść na różne kasty biologiczne.
Nierówność datuje się od epoki kamienia. Trzydzieści tysięcy lat temu grupy zbieraczy-łowców chowały niektórych swoich członków we wspaniałych grobach pełnych tysięcy paciorków z kości słoniowej, bransoletek, klejnotów i wyrobów rękodzieła artystycznego, podczas gdy inni musieli się zadowolić zwykłą dziurą w ziemi. Niemniej jednak pradawne grupy zbieraczy-łowców i tak były dużo bardziej egalitarne niż jakiekolwiek późniejsze ludzkie społeczeństwo, ponieważ miały niewiele własności. Własność jest warunkiem wstępnym trwałej nierówności.
Wskutek rewolucji agrarnej (neolitycznej) własność się pomnożyła, a wraz z nią nierówność. W miarę jak ludzie wchodzili w posiadanie ziemi, zwierząt, roślin i narzędzi, powstawały sztywne społeczeństwa