Буквально сотням производителей систем безопасности и даже органам по стандартизации пришлось принять ту или иную форму системы оценки. Фактически концепции балльных оценок и матрицы рисков лежат в основе подходов к управлению рисками в индустрии безопасности.
Во всех случаях подходы строятся на идее, что такие методы приносят значительную пользу, то есть предполагается, что с ними лучше, чем без них. По мнению представителей одной из организаций по стандартизации, подобное ранжирование рисков вполне приемлемо:
Как только тестировщик определяет потенциальный риск и хочет выяснить, насколько тот серьезен, первым шагом становится оценка вероятности. В общем смысле – это приблизительная мера того, насколько велика вероятность, что злоумышленник найдет и использует данную уязвимость. Не обязательно быть очень точным в оценке. В целом достаточно определить, является ли вероятность низкой, средней или высокой.
Стоит ли верить последней фразе? Учитывая, в основе каких критически важных решений могут лежать подобные методы, мы утверждаем, что не стоит. Это проверяемое утверждение, и оно реально проверялось множеством различных способов. Рост атак в области кибербезопасности сам по себе уже намекает на то, что, возможно, настало время попробовать иной подход.
Поэтому давайте проясним нашу позицию в отношении существующих методов. Они неудачные. Они не работают. Тщательное изучение исследований, посвященных как этим методам, так и методам принятия решений в целом, указывает на следующее (обо всем этом подробнее говорится в главах 4 и 5).
• Нет доказательств, что типы балльных оценок и методы построения матриц рисков, широко используемые в кибербезопасности, повышают эффективность суждений.
• Напротив, есть доказательства, что эти методы вносят искажения и ошибки в процесс оценивания. Один из исследователей – Тони Кокс – даже утверждает, что они «хуже, чем действия наугад» (исследование Кокса и многие другие будут подробно описаны в главе 5).
• Вся мнимая «работа» методов, вероятно, является разновидностью эффекта плацебо. То есть метод может заставить вас почувствовать себя лучше, даже если его применение не способствует ощутимому улучшению в оценке рисков (или вовсе увеличивает число ошибок).
• В опубликованных исследованиях имеется огромное количество доказательств