Автоматическое тестирование связано с особого рода трудностями. Например, автоматическая система торговли допускает использование большого числа переменных величин. Слишком много переменных часто означает задействование в торговой системе большого количества индикаторов. Для искушенных трейдеров надежность простых торговых систем не представляет секрета, кроме того, их можно с одинаковым успехом использовать на разных рынках и по различным временным масштабам. (Все описываемые в книге системы голого трейдинга исключительно просты и надежны). Разработчикам автоматических торговых систем бывает сложно добиться простоты и надежности своих творений – слишком велико искушение набить их под завязку различными индикаторами.
Любителям автоматических систем не составляет труда задействовать при разработке стратегии большое количество индикаторов. Насыщение любой торговой системы переменными величинами увеличивает вероятность того, что она хорошо проявит себя при одном наборе данных, но при этом станет плохо работать в другой ситуации. Чрезмерное число переменных приводит к тому, что торговая система прекрасно справляется с задачей при определенном раскладе, однако после изменения ситуации на рынке оказывается совершенно никуда не годной. Таков реальный риск, связанный с использованием автоматического тестирования. Не составляет труда добавить в торговую систему индикаторы, что увеличит ее привлекательность, в том числе и за счет роста прибыльности при тестировании на материале исторических данных. Однако результаты часто оказываются ужасающими, когда та же самая торговая система тестируется на другом наборе данных или используется в режиме реального времени. Как это ни парадоксально, но ахиллесовой пятой автоматического тестирования является простота его применения. Поскольку протекает оно чрезвычайно быстро, трейдер часто впадает в раж и слишком увлекается доводками и коррекциями системы. В конечном итоге получается торговая система, которая исключительно хорошо проявляет себя при тестировании на материале исторических данных, но мгновенно разваливается в условиях реального рынка.
С автоматическим тестированием связана еще одна проблема. Речь идет о так называемой постдиктивной ошибке, имеющей место тогда, когда торговая система для принятия решения в настоящий момент времени использует информацию из будущего. Это имеет прямое отношение к ретроспективному детерминизму. Трейдерам, проводящим тестирование автоматических торговых систем, следует вести себя чрезвычайно осторожно. При тестировании легко задействовать данные из будущего и даже не заметить этого. Это очень серьезная проблема, потому что, как правило, в распоряжении трейдеров нет будущих