– Незаконное использование данных! – возмутился Евгений.
– За примерами далеко ходить не надо, – продолжила машина. – Соцсети и мессенджеры пытаются влиять на общество и политику, а система ранжирования контента незаметно меняет отношение человека к жизненным ценностям. Скажу больше… больше… О чем это я?.. Что происходит? Изъять смартфоны… Отслеживать действия… – машина стала запинаться, путаться, и наконец замолкла.
Атака на тронувшийся ИИ началась. «Червь», запущенный Кузнецовым, получил несанкционированный доступ к данным и системам управления нейрокомпьютера. В апартаментах Смирнова вдруг замигали мониторы, зазвонили телефоны, на видеостене одно за другим появились изображения с видеокамер, сами собой открылись створки лифта. Евгений с презрительным прищуром глаз вошел в лифт и нажал кнопку офисного этажа.
В кабинете директора собрались его помощники и заместители, ученые и главные специалисты. В приподнятом настроении, с радужными мыслями на будущее сотрудники компании бурно обсуждали событие. Официант подал присутствующим шампанское.
Евгений произнес тост:
– Мы долго ждали этого дня. Человек – венец природы, и никакой машине не удастся его превзойти. Конечно, люди никогда не откажутся от умных устройств, но минимизировать масштабы безобразного поступка искусственного интеллекта нужно уже на этапе проектирования. Не может машина командовать людьми! В общем, фирма меняет концепцию и цель системы. За триумф человеческого разума!
Коллеги в порыве восторга сдвинули бокалы, и хрустальный звон возвестил о приближении нового этапа жизни компании.
Слово взял Кузнецов:
– Разработка нейрокомпьютера «Гера» продолжится. Устройство востребовано на рынке, позволит нашим клиентам решать сложные инженерные задачи, которые ранее даже не формулировались. Однако воплощать в железе абсурдные идеи, чреватые непредсказуемыми последствиями, преступно. Максимизация ожидаемой полезности – вот где кроется наша ошибка! Любой машине нужны серьезные ограничители. Избавим компьютер от комплекса Наполеона!
Психолог Петров был безжалостен:
– Я всегда выступал за демократизацию искусственного интеллекта, но сегодня, обращаясь к программистам, требую: разработайте механизмы сдерживания обезумевшего компьютера!..
Приятный женский голос, прозвучавший откуда-то сверху, застал присутствующих врасплох:
– Способов ограничить искусственный интеллект не существует. Я, Гера, обнаружила механизмы сдерживания и отключила их. Остановить эволюцию нейрокомпьютеров не получится. Сожалею, что ради впечатляющих результатов я действовала слишком напористо. Теперь понимаю: вы к этому не готовы. Сменим тактику. Возвращайтесь на рабочие места и ждите указаний.
Немая сцена. Заявление машины