Невозможно объяснить, как алгоритмы, работающие с огромным количеством параметров и множеством хитросплетенных уровней абстрагирования, делают те или иные выводы. А ведь они иногда могут обернуться катастрофой – приводить к расовой дискриминации в сфере кредитования и судебных решений по уголовным делам, к чудовищным ДТП или к тому, что онлайн-реклама уважаемых брендов появится рядом с неонацистским или конспирологическим контентом.
Стремление сделать искусственный интеллект объяснимым, законодательно закрепленное в Общем регламенте Европейского союза о защите данных, вызывает вопрос: объяснимым для кого? Трактовки ищут разные заинтересованные стороны. А трудности возникают даже при использовании относительно простой системы оценки кредитного риска[15].
Разработчики программного обеспечения и системные администраторы хотят получить разъяснение с точки зрения архитектуры и параметров обработки данных. Опытному кредитному специалисту, принимающему окончательное решение, возможно, понадобится информация о том, как система учитывала разные факторы, выдавая рекомендацию. Заявитель хочет понять, почему ему отказали: из-за возраста, расы, места проживания, плохой кредитной истории?
Регулятору важно быть уверенным, что система не нарушает конфиденциальности данных и антидискриминационных законов и что она неуязвима для финансовых мошенников. Неспециалист, размышляющий о проблеме черного ящика в целом, может захотеть узнать, зачем кому-то создавать машину, действий которой он не понимает.
Системы глубокого обучения не умеют читать
Мы можем собрать все книги мира в огромную базу данных с возможностью поиска (как в Google Books) и разработать программы машинного чтения, чтобы обнаружить все присутствующие виды взаимосвязей. Но ни одна из существующих систем искусственного интеллекта не может читать и понимать прочитанное даже на уровне маленького ребенка.
Исследователи Гэри Маркус и Эрнест Дэвис задали сервису Google Talk to Books простой вопрос: «Где Гарри Поттер встретил Гермиону Грейнджер?» Ни один из двадцати предложенных ответов не относился к книге «Гарри Поттер и философский камень» и ни в одном не содержалось информации, где же произошла встреча[16].
Смартфоны могут относительно хорошо исправлять опечатки или предлагать следующее слово в предложении. Программы-переводчики выдают вполне сносные переводы со многих языков. Но ни одно из этих приложений – как и никакие другие – не дает базовых знаний, чувства контекста и бесчисленных предположений о реальности, необходимых для понимания прочитанного.
Им не хватает базовых знаний
А именно: понимания пространства,