Машины обычно изображаются в кино злыми. Однако бо́льшие опасения должна вызывать некомпетентность. Разумеется, необходимо учитывать вероятность, что сверхразумные машины могут случайно покончить с человечеством. Есть несколько вариантов, как это может произойти.
Прикосновение Мидаса
Наиболее вероятный сценарий заключается в вероятности того, что цели такого компьютера будут недостаточно точно прописаны. В качестве аналогии подходит греческий миф о царе Мидасе, который получил желанный дар – обращать все, к чему прикасается, в золото. Однако царь неудачно сформулировал свое желание: он ведь не хотел, чтобы его еда или родная дочь превращались в золото.
Можно поспорить, что в истории ИИ уже бывали такие случаи, только в более безопасных условиях. Например, исследователи ставили эксперимент, в котором научили компьютер играть в Coast Runners, игру, в которой нужно участвовать в гонках по воде. ИИ предпочитал не доезжать до конца маршрута, а делать небольшие круги, врезаясь в другие лодки, потому что это приносило очки быстрее, чем прохождение гонки.
Будучи умными, такие машины могут достигать поставленных целей удивительными путями. Например, поставим перед компьютером задачу устранить рак. Один из способов это сделать – уничтожить каждого носителя раковых клеток, то есть все человечество. Не совсем то, что мы имели в виду, когда ставили задачу.
Подобные примеры рисуют довольно мрачную картинку. Если бы я поручил вам вылечить рак, а вы бы начали убивать людей, то я, вероятно, решил бы, что не так уж вы и умны. Мы предполагаем, что умные люди усвоили правильные моральные нормы и сочувствуют другим, особенно тем, у кого есть разум и чувства. Разве не должен тогда сверхразум обладать этими же качествами наравне с интеллектом?
Скрепки повсюду
Второй возможный вариант заключается в том, что, даже если цели сформулированы правильно, остается риск непредсказуемых побочных эффектов, которые могут навредить человеку. Любой, кто когда-либо отлаживал компьютерный код, знает, как раздражающе буквально машины воспринимают инструкции. Этот риск исследован в известном мысленном эксперименте, предложенном Ником Бостромом.
Допустим, мы создадим сверхразумную машину и поставим перед ней задачу сделать столько скрепок, сколько возможно. Поскольку машину наделят сверхинтеллектом, она будет очень хорошо выполнять эту задачу. Она начнет строить все больше заводов по производству скрепок. В конце концов весь мир будет производить только их. Машина в точности выполнит ту задачу, которую перед ней поставили, но для человечества это будет