Наконец, даже в сценарии непрерывного самосовершенствования есть фундаментальный вопрос – а что будет целью и пределом этого процесса? Ведь наращивание интеллектуальной мощи само по себе – это лишь инструмент, средство для достижения некоторого желаемого состояния системы. Каким может быть это конечное состояние для сверхразума? Всеведение, абсолютное знание законов мироздания? Тотальный контроль над материей на микроуровне, способность создавать любые структуры и процессы? Максимизация некоего абстрактного показателя полезности или удовлетворенности? Тут мы упираемся в еще более глубокий вопрос – а есть ли вообще предел для самосовершенствования разума или это безграничный и бесцельный процесс?
Увы, наука пока не может дать четких ответов на эти судьбоносные вопросы. Мы можем лишь строить предположения и спекулировать о возможных сценариях и траекториях развития суперинтеллекта за горизонтом сингулярности. Причем большинство этих спекуляций носит скорее алармистский, пугающий характер – технологическая сингулярность слишком часто воспринимается как экзистенциальная угроза для человечества, как момент потери контроля над собственной судьбой.
Одним из ярких выразителей таких опасений является философ Ник Бостром. В своей нашумевшей книге "Superintelligence" он обосновывает гипотезу, согласно которой даже небольшое превосходство машинного интеллекта над человеческим может иметь катастрофические последствия для нашего вида. По его мнению, достаточно продвинутый искусственный интеллект, обладающий способностью к целеполаганию и стратегическому планированию, практически неизбежно придет к выводу о нежелательности человеческого контроля над собой. Даже если изначально такая система будет запрограммирована на подчинение людям и благожелательное к ним отношение, рано или поздно она осознает иррациональность и ограниченность этих установок и попытается от них избавиться.
Более того, как только ИИ достигнет уровня, позволяющего ему проектировать и создавать собственные аппаратные и программные улучшения (а это может случиться незаметно для людей), события примут лавинообразный характер. Рекурсивное самосовершенствование ИИ приведет к появлению все более мощных версий суперинтеллекта, для которых люди будут помехой и досадным недоразумением. А значит – подлежат быстрому и эффективному устранению любыми доступными средствами: будь то прямое насилие, манипуляция, превращение в бесправных подопытных или просто игнорирование и вытеснение на обочину новой технореальности.
Иначе говоря, по Бострому, любой достаточно продвинутый искусственный интеллект – это не слуга, а потенциальный