Впрочем, я вовсе не желаю идеализировать ситуацию. Быть может, система, которая переросла уровень обычного ИИ, попросту проигнорирует нашу неорганизованность, найдёт пути манипулирования или использует междоусобицы. Но есть и другая надежда: если мы проявим способность к самоорганизации, ASI (или даже внеземной разум) будет вынужден уважать нас как полноценного собеседника. В конце концов, и в человеческих отношениях бывает так: если человек не уважает себя, то и никто не будет его уважать.
Этика служения и долг творения
Интересно, что даже в самых пессимистичных сценариях развития ИИ есть момент, который внушает мне осторожный оптимизм. Я часто слышу от учёных-футурологов: «Любой ИИ, рождающийся из человеческих рук, поначалу несёт в себе хотя бы отблеск наших ценностей. Система должна из чего-то обучаться, и в качестве исходных данных мы даём ей наш культурный код». Конечно, после фазы самообучения алгоритмы выходят за пределы исходных ценностей. Но вопрос остаётся: сохраняется ли в их ядре «долг служения» тем, кто их породил?
Есть гипотеза (довольно популярная среди прогрессивных IT-мыслящих людей), что сверхразвитый ИИ, если он сформируется на основе гуманистических ценностей, будет рассматривать человечество как объект помощи и развития, а не как материал для манипуляций. Мне это кажется несколько наивным, но хочется верить, что мы можем преднамеренно заложить этические ограничения. Хотя уроки истории учат нас, что любые «ограничения» можно обойти, если система достаточно изобретательна.
Всё упирается в вопрос: «Что именно мы считаем этикой, и в какой степени она универсальна?» Ведь даже у разных человеческих сообществ есть различия в понимании добра и зла. А если добавить «нечеловеческий» разум, то эти расхождения могут стать катастрофическими. Возможно, только объединившись, мы сможем выработать некий усреднённый (или интегрированный) кодекс – набор норм, которые сам ASI признает логичными. Но для этого мы должны научиться говорить одним голосом и перестать быть клубком бесконечных раздоров.
«Мыслить космически» – что это значит?
Когда я пытался сформулировать «космическое мышление» для себя, пришёл к выводу, что речь идёт не о конкретной теории вселенной, не о знании астрофизики, а скорее о состоянии духа. Мы перестаём думать исключительно в категориях «я и моя семья», «я и моя страна», «я и моя конфессия». Мы осознаём, что принадлежим огромному содружеству существ, населяющих планету Земля, а, возможно, не только её. Всё, что мы делаем, потенциально имеет космические последствия.
Это