– А вот тут мы получаем конфликт мотиваций. Но, в принципе, разрешить данный конфликт мы можем сравнением, где больше вреда. Врачи, кстати, так и делают: оценивают риск от хирургического вмешательства и, исходя из опасности заболевания, выносят решение о том, показана ли операция. Да, искусственный интеллект может принимать решения по такой же методике. Но проблема не в этом. А в том, что умная машина может принять решение, которое нас не устроит. И последствия могут быть довольно плачевными.
– Ну, значит нужно тщательно тестировать. Выявить все возможные подводные камни.
– Чем мы, собственно и занимается….
– Это-то я понимаю. Но не понимаю одного: зачем держать Синтию-2 в подвале обитым фольгой? Как она может вырваться из отключенного от сети компьютера?
– А ты в курсе, что специальным оборудованием можно снять изображение с мониторов, находящихся за стеной?
– А… так ты опасаешься шпионов? … Но я все равно не вижу смысла обивать комнату фольгой, если любой сотрудник запросто может вынести информацию на флешке.
Леонид улыбнулся.
– Нет, вовсе не шпионов я опасаюсь, – сказал он, – вот, представь себе, что искусственный интеллект исследует виртуальное пространство, в котором он живет. Как ты думаешь, до чего он может дойти, если применит научный метод?
– Сначала он откроет все законы виртуального мира. Возможно, доберется до «первокирпичиков». Захочет заглянуть, что у них «внутри». Естественно не сможет, так как внутри ничего нет.
– И что будет дальше? К каким выводам он придет?
– Ну, возможно, догадается, что он в «матрице».
– Вот именно. А может и не догадается, а будет думать, что он просто еще не все изучил и будет пытаться дальше изучать. Но не суть. А себя он будет изучать, как ты думаешь?
– Думаю, да.
– И к чему придет? Сможет он догадаться, что он компьютерная программа?
– Не представляю, как он может об этом догадаться. Но исключать такую возможность нельзя.
– Вот именно.
Максим посмотрел на начальника непонимающим взглядом и спросил:
– Ну, хорошо, догадалась наша Синтия, что она всего лишь программа? А дальше-то что?
– А ты подумай….
– Ну, может быть, попробует переписать свой код. Правда, для этого ей придется взломать компьютер, на котором она запущена. Что само по себе уже несколько фантастично.
– Тем не менее, мы не можем полностью отрицать подобный исход.
– Ну, хорошо, пусть даже мы примем и это фантастическое допущение. Но какую опасность может представлять программа, запущенная на изолированном от всех сетей компьютере? Разве что если она захочет самоубиться, отформатировав винчестер.
– Как вариант, искусственный интеллект может попытаться влиять на другие компьютеры, посредством наведения радиопомех в проводах.
– Ну, это уже вообще сверх фантастика какая-то! – воскликнул программист, – может, тогда стоит и шапочку из фольги