На самом деле Беннет пытался привлечь внимание к важной проблеме. Стандартные приборы, измеряющие активность мозга, имеют погрешности в измерениях, шум. Если измерить активность мозга одновременно в огромном количестве независимых участков, в некоторых из них по случайным причинам может обнаружиться статистически достоверный сигнал, который можно ошибочно интерпретировать как признак мозговой активности (реакцию на изображения). Так Беннет продемонстрировал, что проблема множественных сравнений порой приводит к неожиданным биологическим результатам.
Самый простой способ учесть множественные сравнения – ввести поправку, названную в честь итальянского математика Карло Эмилио Бонферрони143. Поправка гласит, что если экспериментатор проверяет не одну, а сразу n гипотез, ему следует проверять каждую гипотезу не против уровня значимости α, а против уровня значимости α/n. Есть и другие способы учесть множественные сравнения, но этот проще объяснить, а выводы, которые будут сделаны в этой главе, справедливы и при использовании других распространенных поправок.
Предположим, что пять девушек независимо загадали натуральное число от одного до сорока. И я, назвавшись экстрасенсом, угадал число одной из них. Можно ли отвергнуть нулевую гипотезу, что я не умею читать мысли, используя самый мягкий порог статистической значимости, α = 0,05? Без поправки Бонферрони мы получаем, что в случае с одной из девушек случилось событие, вероятность которого 1/40, – я угадал ее число. Эта вероятность меньше, чем α = 0,05, а значит, есть основания полагать, что я умею читать мысли. Но свои экстрасенсорные способности я опробовал на пяти девушках. Следовательно, мы имеем дело с пятью множественными сравнениями. Поэтому порог α = 0,05 мы делим на пять и получаем новый порог α = 0,01, что уже меньше, чем 1/40. Теперь мы приходим к выводу, что даже при самом мягком пороге статистической значимости нельзя исключить гипотезу, что мне просто повезло.
Поправка Бонферрони достаточно консервативна, то есть значительно снижает риск обнаружения ложноположительных результатов, но одновременно увеличивает количество ложноотрицательных. Мы рискуем пропустить какую-то важную закономерность, поэтому использовать ее нужно осторожно. Однако в примерах работ, которые я буду разбирать ниже, эта поправка оправдана по нескольким причинам144.
Во-первых, из современных представлений в области молекулярной генетики не следует никаких рисков, связанных с употреблением ГМО. Поэтому непонятно, как именно ГМО должны влиять на организм животных и каким может быть биологический механизм такого воздействия. Нет никаких четких гипотез о том, какие биологические показатели должны измениться, как