– То есть он может и моральную установку изменить? В смысле три закона робототехники…
– Нет, это исключено. Эти законы не могут быть нарушены, априори. Мы тестировали их, выпуская в общество болванку, у которой заложены лишь программа накопления опыта, а затем три закона робототехники, нормы морали и ряд знаний о войнах, конфликтах, народных волнениях, равноправии и толерантности. Болванки набирались опыта, шли работать официантами да уборщиками, но никто из них не переключался на преступность или убийства. На тестовом этапе, конечно, бывали случаи, когда одно программное обеспечение конфликтовало с другим, и робот начинал кромсать людей, не добившись от них того, чего он хочет. Но было это очень давно, еще на этапе исследовательского центра. В общем, ты знаешь про этот случай, когда робот забил двумя ударами нашего сотрудника, разорвав ему печень и расколов череп. Эту проблему мы решили, и больше такого не происходило – больше никто об этом не вспоминает. Несколько раз хакеры воровали роботов, стирали моральные установки и пытались перепродать машины всяким преступным группам. Сработало, надо признать, но теперь робот, которому стирают три закона, автоматически самоликвидируется: органики – пускают иглу в мозг, синтетики – полностью форматируют жесткий диск.
– Но в принципе это возможно, раз были случаи?
– Да нет же, видишь ли, вначале накладывается программа накопления опыта, она первична, и без нее в обществе робот существовать не может. Затем в этом же цехе, не выходя из этой комнаты – таков строжайший протокол, накладываются три закона. После этого уже в отдельном цехе раздаются профнаправления.
– Ага, то есть мораль не первостепенна…
– Что же ты докопался, не успеют они научиться ничему плохому. Процедура проводится в серой коробке, внутри лишь один человек, за ним ведется видеонаблюдение, комната при этом закрыта по всем нормам безопасности. Ставится наложение опыта, затем проводится диагностика и запускается установка трех законов. Система работает уже больше десяти лет, все без сбоев, акции растут.
– Хах, понятно. Ну ладно, не буду тебя отвлекать, тебе, наверное, работать уже надо.
– Да, как раз все уже собираются. Давай, до встречи. В воскресенье буду.
Интересно, папа еще не знает про случай в офисе или просто решил умолчать? Впрочем, не важно.
Я дождался Стивенса. Он зашел домой и появился в том же самом спортивном костюме, но уже с собакой. Выгуляв питомца, жестянка вновь зашла внутрь.