W ślepym posłuszeństwie nie ma oczywiście niczego złego, dopóki roboty będą służyć dobrym panom. Nawet w dziedzinie militarnej powierzenie działań wojennych zabójczym robotom mogłoby dać nam gwarancję, że po raz pierwszy w dziejach na polu bitwy prawo wojenne byłoby faktycznie przestrzegane. Żołnierzem, który jest człowiekiem, kierują czasem emocje i pod ich wpływem dopuszcza się mordów, grabieży i gwałtów, naruszając tym samym prawo wojenne. Zazwyczaj kojarzymy uczucia ze współczuciem, miłością i empatią, ale w czasie wojny zdecydowanie zbyt często dochodzą do głosu takie emocje, jak strach, nienawiść i okrucieństwo. Ponieważ roboty nie mają uczuć, można będzie mieć co do nich pewność, że zawsze będą się trzymały suchego tekstu kodeksu wojskowego i nigdy nie ulegną lękowi czy nienawiści66.
Szesnastego marca 1968 roku kompania amerykańskich żołnierzy w wiosce Mỹ Lai na południu Wietnamu wpadła w szał i wymordowała mniej więcej czterystu cywilów. Do tej zbrodni wojennej doszło z inicjatywy mężczyzn, którzy od wielu miesięcy prowadzili w dżungli walkę z wietnamską partyzantką. Owa rzeź nie służyła realizacji żadnego strategicznego celu i była pogwałceniem zarówno prawa, jak i polityki wojskowej Stanów Zjednoczonych. Odpowiedzialne za nią były ludzkie emocje67. Gdyby Stany Zjednoczone wysłały do walki w Wietnamie zabójcze roboty, do masakry w Mỹ Lai by nie doszło.
Zanim jednak weźmiemy się z zapałem do tworzenia zabójczych robotów i wysyłania ich na pole bitwy, musimy sobie przypomnieć, że roboty zawsze stanowią odbicie i wzmocnienie tego, jak są zaprogramowane. Jeśli ich oprogramowanie jest powściągliwe i łagodne – roboty będą prawdopodobnie stanowiły ogromny postęp w porównaniu z przeciętnym żołnierzem. Jeśli jednak oprogramowanie będzie bezwzględne i okrutne – skutki będą katastrofalne. Prawdziwy problem z robotami polega nie na ich własnej sztucznej inteligencji, lecz raczej na naturalnej głupocie i okrucieństwie ich twórców.
W lipcu 1995 roku w okolicach miasta Srebrenica oddziały bośniackich Serbów wyrżnęły ponad osiem tysięcy muzułmańskich Bośniaków. W odróżnieniu od chaotycznej masakry w Mỹ Lai zbrodnia w Srebrenicy stanowiła długą i dobrze zorganizowaną operację, która była odzwierciedleniem prowadzonej przez bośniackich Serbów polityki „etnicznego czyszczenia” Bośni z muzułmanów68. Gdyby w 1995 roku bośniaccy Serbowie mieli zabójcze roboty, przypuszczalnie doszłoby do jeszcze gorszych potworności. Żaden z robotów nawet na moment by się nie zawahał, wypełniając wszelkie otrzymane rozkazy, nie oszczędziłby też życia ani jednemu muzułmańskiemu dziecku, powodowany uczuciem litości lub odrazy czy choćby wskutek odrętwienia.
Uzbrojony w takie zabójcze roboty bezwzględny dyktator nigdy nie będzie musiał się obawiać, że jego żołnierze zwrócą się przeciw niemu, choćby nie wiem jak bezduszne i szalone rozkazy wydawał. Armia robotów prawdopodobnie zdusiłaby rewolucję francuską w zarodku już w 1789 roku, a gdyby w 2011 roku Husni Mubarak miał oddział zabójczych robotów, mógłby rzucić go do walki przeciwko obywatelom, nie bojąc się dezercji. Prowadzące imperialistyczną politykę państwo, gdyby tylko mogło wesprzeć się armią robotów, swobodnie kontynuowałoby swoje mało popularne wśród społeczeństwa wojny, nie przejmując się tym, że maszyny nagle stracą motywację albo że ich rodziny zaczną urządzać antywojenne protesty. Gdyby Stany Zjednoczone miały zabójcze roboty podczas wojny w Wietnamie, być może zapobiegłoby to masakrze w Mỹ Lai, ale sama wojna mogłaby ciągnąć się jeszcze latami, ponieważ amerykańskie władze miałyby o wiele mniej zmartwień i nie musiałyby się borykać ze spadkiem morale u żołnierzy, masowymi demonstracjami pokojowymi czy z ruchem „robotów weteranów przeciwko wojnie”. Wprawdzie część obywateli wciąż mogłaby być przeciwna tej wojnie, ale nie istniałoby bezpośrednie zagrożenie, że zostaną na nią wysłani, że czeka ich niechybnie zespół stresu pourazowego czy że stracą w walkach kogoś bliskiego, toteż protestujących byłoby prawdopodobnie mniej i nie byliby tak zaangażowani69.
Tego typu problemy są dużo mniej istotne w wypadku autonomicznych pojazdów cywilnych, gdyż żaden producent samochodów nie będzie złośliwie programował swoich aut tak, by brały ludzi na celownik i ich rozjeżdżały. Bezzałogowe systemy uzbrojenia natomiast to wisząca w powietrzu katastrofa, ponieważ zbyt często zdarzają się rządy pod względem etycznym co najmniej zepsute, jeśli nie wręcz złe.
Niebezpieczeństwo nie ogranicza się do zabójczych maszyn. Równie groźne mogą być systemy monitoringu. W rękach łagodnych władz potężne algorytmy odpowiedzialne za obserwację obywateli mogą być najlepszą rzeczą, jaka kiedykolwiek spotkała ludzkość. Te same oparte na big data algorytmy mogą jednak również wzmocnić pozycję przyszłego Wielkiego Brata, w wyniku czego możemy dojść do opartego na inwigilacji orwellowskiego reżimu, w którym wszyscy są przez cały czas monitorowani70.
Ale może nam się przytrafić coś jeszcze gorszego – coś, czego nawet Orwell raczej sobie nie wyobrażał: reżim totalnej inwigilacji, który nie tylko śledzi wszystkie nasze zewnętrzne działania i wypowiedzi, ale gotów jest także – dosłownie – zaleźć nam za skórę i obserwować nasze wewnętrzne doznania. Zastanówcie się na przykład, co mógłby zrobić z użyciem nowych środków technicznych reżim Kima w Korei Północnej. W przyszłości każdy północnokoreański obywatel mógłby zostać zobowiązany do noszenia bransoletki biometrycznej, która kontrolowałaby wszystko, co robi i mówi – a także jego ciśnienie krwi i aktywność mózgu. Wykorzystując coraz lepsze rozumienie ludzkiego mózgu oraz ogromne możliwości uczenia maszynowego, północnokoreański reżim mógłby wiedzieć, co każdy bez wyjątku obywatel myśli w każdej bez wyjątku chwili. Jeśli u kogoś, kto spojrzy na zdjęcie Kim Dzong Una, czujniki biometryczne wychwyciłyby charakterystyczne oznaki złości (wyższe ciśnienie, wzmożoną aktywność w ciele migdałowatym) – nazajutrz rano taki człowiek znalazłby się w obozie koncentracyjnym.
Jasne, z powodu swej izolacji reżim północnokoreański może mieć kłopot z samodzielnym wypracowaniem techniki koniecznej do powstania takiego systemu. Jednak odpowiednie innowacje techniczne oraz technologie mogą zostać wynalezione i rozwinięte w bardziej zaawansowanych technicznie krajach, a następnie skopiowane lub kupione przez Koreę Północną i inne opóźnione w rozwoju dyktatury. Zarówno Chiny, jak i Rosja nieustannie udoskonalają swe narzędzia służące do inwigilacji. Podobnie postępuje zresztą także wiele państw demokratycznych, od Stanów Zjednoczonych po mój ojczysty kraj, Izrael. W nazywanym „krajem start-upów” Izraelu istnieje wyjątkowo żywotny sektor nowoczesnych technologii oraz nowatorski przemysł zajmujący się cyberbezpieczeństwem. Poza tym Izraelczycy są uwikłani w śmiertelny konflikt z Palestyńczykami i przynajmniej część izraelskich przywódców, generałów oraz obywateli zapewne z wielką radością utworzyłaby na Zachodnim Brzegu reżim totalnej inwigilacji, gdyby tylko dostała do ręki niezbędne środki techniczne.
Już dzisiaj jest tak, że ilekroć jakiś Palestyńczyk rozmawia przez telefon, wrzuca coś na Facebooka albo jedzie z jednego miasta do drugiego, z dużym prawdopodobieństwem można przyjąć, że będą go śledziły izraelskie mikrofony, kamery, drony albo oprogramowanie szpiegujące. Gromadzone w ten sposób dane są następnie analizowane za pomocą algorytmów opartych na big data. Pomaga to izraelskim siłom bezpieczeństwa lokalizować i neutralizować potencjalne zagrożenia bez konieczności wysyłania w teren dużych oddziałów wojska. Palestyńczycy sprawują wprawdzie władzę nad częścią miasteczek i wiosek na Zachodnim Brzegu, ale Izraelczycy kontrolują niebo, fale radiowe i cyberprzestrzeń. Dlatego do skutecznego nadzorowania mniej więcej dwóch i pół miliona Palestyńczyków na Zachodnim