Показательный пример – AlphaZero. Эта система доказала, что ИИ больше не ограничен пределами человеческих знаний – во всяком случае, в играх. Разумеется, ИИ AlphaZero, основанный на машинном обучении так называемых глубоких нейронных сетей, имеет свои ограничения. Но машины находят все больше решений, выходящих за рамки человеческого воображения. В 2016 г. компания DeepMind Applied, входящая в DeepMind, разработала ИИ (во многом родственный AlphaZero) для оптимизации охлаждения центров обработки данных Google. Над этой задачей уже работали лучшие инженеры мира, но ИИ DeepMind еще больше оптимизировал охлаждение, дополнительно сократив энергозатраты на 40 %. Это огромное улучшение по сравнению с человеческой производительностью[7]. Когда при помощи ИИ будут достигнуты сопоставимые прорывы в различных областях деятельности, мир неизбежно изменится. Результатом будет не просто более эффективное решение человеческих проблем – на многих открытиях ИИ будет лежать печать нечеловеческого обучения и мышления.
Как только производительность ИИ при выполнении той или иной задачи превзойдет человеческую, отказ от применения ИИ хотя бы в качестве дополнения к человеку будет восприниматься как признак недальновидности, халатности и даже саботажа. Но одно дело шахматист, которому ИИ посоветовал пожертвовать ценной фигурой (в этом нет ничего смертельно опасного), и совсем другое – главнокомандующий, которому ИИ порекомендует пожертвовать значительным числом сограждан, чтобы спасти (по расчетам ИИ) еще больше людей. На каком основании эту жертву можно было бы отменить и была бы эта отмена оправдана? Всегда ли люди будут знать, какие расчеты произвел ИИ? Смогут ли люди обнаружить ошибочное решение ИИ и вовремя отменить его? Если мы не в состоянии понять логику отдельных решений ИИ, должны ли мы верить каждой его рекомендации? Если мы заблокируем решения ИИ, не рискуем ли мы, вмешиваясь в слишком сложные для нас процессы? И даже если мы понимаем логику, цену и значение отдельных решений – что, если наш противник получил аналогичную рекомендацию от своего ИИ? Если он пойдет на жертву, а мы нет, потерпим ли мы поражение?
В случаях с AlphaZero и халицином ИИ решал задачи, поставленные перед ним людьми. Целью AlphaZero была победа в шахматах. Цель ИИ, открывшего халицин, состояла в том, чтобы убить как можно больше патогенов – и чем больше патогенов уничтожено без вреда для человека, тем больше успех. Еще одной целью была сфера, недоступная человеку: ИИ было поручено искать неизвестные способы доставки лекарств. ИИ добился