Маршрут Сент-Хелена – Пало-Альто, Калифорния
Это, конечно, явное усовершенствование, но до диалога и здесь далеко. Система говорит: вот три варианта, выбирай один из них. Узнать подробности или изменить маршрут вы не можете. Я знаком со всеми тремя дорогами и знаю: самая быстрая, короткая и дешевая проходит по наименее живописным местам, а та, где виды будут лучше всего, даже не предлагается. Но если водитель не имеет об этом представления? Понятно, что такой уровень общения машины с человеком не может нас удовлетворить. И то, что создание навигационных систем, предлагающих автомобилистам хотя бы такой выбор, считается большим шагом вперед, лишь показывает, как плохи остальные системы и как мы еще далеки от искомого результата.
Если моя машина сочтет, что авария неизбежна, она выпрямит спинки кресел или включит тормоза и ни о чем меня не спросит, не посоветуется со мной, даже не сообщит, в чем причина. Может, ей лучше знать, поскольку она напичкана механическими и электронными приборами, безошибочно делающими нужные расчеты? Не обязательно. Да, с арифметикой у приборов все в порядке, но, прежде чем делать расчеты, нужно еще учесть состояние дороги, поток и квалификацию водителя. Водители-профессионалы порой отключают автоматику, поскольку она не позволяет им использовать все их навыки. Точнее, они отключают то, что им позволено отключить: многие из современных машин столь авторитарны, что не оставляют водителю даже этой возможности.
Не думайте, что это относится только к автомобилям. В будущем аналогичная проблема возникнет при обращении с очень многими видами устройств. Так, в банках уже существуют автоматизированные системы, определяющие, можно ли дать вам кредит, а автоматизированные медицинские системы решают, какое лечение или лекарство вам назначить. Скоро машины станут следить за тем, что вы едите, что читаете, какую музыку любите и какие телепередачи предпочитаете смотреть. Специальные системы будут наблюдать, как вы ведете себя за рулем, и если они решат, что вы нарушили правила, то уведомят страховую компанию, прокатную контору, а то и полицию. Другие системы отслеживают нарушение авторских прав, принимая решения о том, что можно разрешить, а что нет. Во всех этих случаях речь идет о произвольных решениях: машины делают важнейшие выводы о ваших намерениях на основе далеко не полной картины вашего поведения.
Так называемые «умные» системы стали чересчур самоуверенными. Они убеждены, будто знают, что для нас лучше. Но их интеллект ограничен. И это ограниченность фундаментального свойства: машина по определению не может знать все факторы, которые человек учитывает при принятии решений. Это, впрочем, не означает, что нам следует отказываться от помощи «умных» машин. В то же время, поскольку машины берут на себя все больше и больше, их