– Сейчас Мара в бегах, а без особых средств межсетевой защиты ее система уязвима…
– Если она перезапустит программу, а та ускользнет – всё, игра окончена. – Джейсон покачал головой. – Я изучил все ее работы, архитектуру нейроморфного компьютера, квантовый привод… Гениальные вещи. И одновременно страшные. Она тоже это понимала. И потому окружила устройство кольцом смертельных ловушек.
– Как ты оцениваешь уровень угрозы? Насколько вероятно, что программа окажется опасной, если получит свободу?
– Любая система с самосознанием – любой СИИ – попытается самосовершенствоваться, и ничто не сможет этому помешать. Программа станет умнее, а потом еще…
– И еще, и еще…
– Кроме того, СИИ быстро приобретет те же базовые биологические устремления, что и мы. Самое важное из них – самосохранение.
– Не захочет быть отключенным… или умереть.
– И будет останавливать малейшую угрозу, используя любые средства и постоянно оттачивая свои возможности. Я уже не говорю об иных потенциальных рисках. Обладая огромной вычислительной мощностью и бессмертием, СИИ будет искать источник опасности для себя, заглядывая за горизонт, в далекое будущее, и разрабатывать стратегии, чтобы пресечь опасность в корне, даже если до нее еще тысяча лет. А самое худшее – он будет постоянно оценивать, представляет ли угрозу для него человек. И если сочтет нас опасными…
– …игра окончена, как ты и говорил.
– Именно поэтому проект Мары так важен. Она пытается разработать дружелюбный СИИ, способный защитить нас от опасного суперинтеллекта, который может быть создан… поправочка, будет рано или поздно создан. Помимо финансируемых правительством центров, сотни компаний создают СИИ втайне. Они одержимы идеей стать первыми и не беспокоятся о последствиях.
– И когда это случится?
– Очень скоро, – сказал Джейсон и махнул на кипы бумаг. – Программа «Дип майнд», разработанная компанией «Гугл», недавно самостоятельно открыла основы квантовой физики. Две переводческие программы с искусственным интеллектом начали общаться друг с другом на своем языке, не поддающемся расшифровке, и отказались переводить разговор. По всему миру интеллектуальные творения превосходят своих создателей, весьма креативно пользуясь человеческими промахами и ошибками. Некоторые программы даже продемонстрировали человеческую интуицию.
– И как же?
– Пару лет назад была большая шумиха вокруг «Альфаго» – программы ИИ от «Дип майнд», – которая победила чемпиона мира в древней китайской логической игре го. По некоторым подсчетам, го в триллион раз сложнее шахмат. Никто не ожидал, что компьютер выиграет у человека. По крайней мере, в ближайшее десятилетие.
– Впечатляет.
– Это еще что! Компании потребовались месяцы, чтобы подготовить «Альфаго» к соревнованию. Потом «Гугл» применил другой подход и выпустил новейшую версию «Альфаго зироу», способную играть сама с собой и обучаться. Через