Эрик Дрекслер [7] изложил красочное видение того, насколько далеко могут завести технические улучшения. Он согласен, что сверхчеловеческие умы появятся в ближайшем будущем – и что такие сущности представляют собой угрозу теперешнему статус кво человечества. Но Дрекслер утверждает, что мы можем физически ограничить подобные сверхчеловеческие устройства или же ввести ограничивающие их правила, чтобы результаты их работы можно было изучать и безопасно применять. Получается все та же ультраинтеллектуальная машина И. Дж. Гуда, только с некоторыми предохранителями. Я возражаю, что такое ограничение внутренне противоречиво. В случае физического ограничения: представьте себе, что вы заперты в собственном доме и доступ данных извне идет только через ваших хозяев. Если эти хозяева думают медленнее вас, скажем, в миллион раз, то практически наверняка за несколько лет (вашего времени) вы подадите им «полезный совет», который совершенно случайно даст вам свободу. (Эту быстромыслящую форму суперинтеллекта я называю «слабо сверхчеловеческой».) Такое «слабо сверхчеловеческое» существо, вероятно, вырвется на свободу за несколько недель внешнего времени. «Сильно сверхчеловеческий» суперинтеллект будет намного больше, чем просто человеческим разумом, только с быстрыми часами. Трудно сказать, на что будет этот «сильно сверхчеловеческий» суперинтеллект похож, но различие должно быть более глубоким. Представим себе собачий разум, работающий на очень высокой скорости. За тысячу лет додумается эта псина до какого-нибудь из человеческих открытий? (Ну, если собачий разум разумно перепаять и только потом запустить на высокой скорости, может, мы что-то иное и увидим…) В основном рассуждения о суперинтеллекте строятся, мне кажется, на модели слабо сверхчеловеческого. Я думаю, что более правильные представления о мире пост-Сингулярности могут быть выведены из размышлений о природе «сильно сверхчеловеческого». К этому я еще вернусь ниже.
Другой подход к Дрекслеровым ограничениям – встроить в создаваемый сверхчеловеческий разум правила (законы Азимова). Я считаю, что правила работы, достаточно строгие для гарантии безопасности, заодно снизят возможности устройства по сравнению с его свободными версиями (а потому людская конкуренция будет склонять к разработке этих более опасных моделей). Все же мечта Азимова удивительна: представить себе полного энтузиазма раба, который в тысячу раз превосходит тебя по способностям в любой области. Представить себе создание,