Создатели программы COMPAS предложили порталу Propublica создать независимую группу – своего рода первый в истории Америки алгоритмическо-статистический суд, под руководством математического директора Google Абэ Гонга. Группа в течение нескольких месяцев детальнейшим образом анализировала человекочитаемые правила, выработанные нейронными сетями, и сравнивала их с массивами статистических данных, характеризующих статистику преступности. В сентябре 2016 г. группа вынесла вердикт, с которым согласились и создатели COMPAS, и портал Propublica. Абэ Гонг подтвердил, что алгоритмы COMPAS по построению нейронных сетей и глубокому обучению – математически безупречны. Безупречна также программа и в статистическом смысле. Статистическая безупречность означает то, что нейронным сетям удалось установить наиболее точную зависимость между входными данными и выходными. Т. е. между данными, представляющими профиль того или иного индивидуума и критериями риска.
Все рекомендации COMPAS были верны в инженерном смысле этого слова. COMPAS действительно минимизировал число условно-досрочных освобождений, после которых нарушители закона вновь совершали преступления, а также правильно определял, в каких случаях человека можно отпустить под залог, а в каких – лучше оставить за решеткой.
Вся проблема в том, что в основе деятельности COMPAS лежат статистические закономерности. Люди же привыкли принимать решения не только на основе статистики, но и, принимая во внимание ценностные критерии так, как они их понимают. COMPAS оказался негативно пристрастным к этническим меньшинствам, но при этом делал это на основе корректной интерпретации реальных данных.
Британский психолог Томас Хиллс полагает, что алгоритмы тоже могут совершать ошибки, поскольку они иногда воспринимают особенности окружения, которые коррелируют с итоговым результатом, хотя не имеют с ним причинно-следственной связи. В мире алгоритмов это называется переобучением. Когда это происходит, мы называем это суеверием.
На практике, пишет Хиллс, алгоритмы часто представляют собой проприетарные черные ящики, обновление которых запрещается законами коммерции. В книге «Оружие массового поражения» Кэти О’Нил от 2016 года описывается истинный парад уродов, составленный из коммерческих алгоритмов, чьи хитрые патологии портили людям жизнь. Особенно интересны алгоритмические разломы, разделяющие богатых и бедных. Бедные люди с большей вероятностью будут иметь проблемы с кредитом,