Backtest bias: когда тест истории вводит в заблуждение

Бэктест — мощный инструмент, но полон ловушек, которые заставляют стратегию выглядеть лучше, чем она есть. Backtest bias — общее название для этих искажений, и знать их обязательно, иначе красивый тест приведёт прямо к убыткам на реале.

Почему бэктест склонен обманывать

Любой тест истории — это модель, а не реальность. Между моделью и живой торговлей есть зазоры: реальные издержки, исполнение, психология, изменение рынка. Плюс сам процесс разработки склонен к самообману: мы (осознанно или нет) настраиваем стратегию так, чтобы прошлое выглядело хорошо. В сумме бэктест систематически смещён в сторону завышенных результатов.

Основные искажения

Ключевые ловушки, каждая заслуживает отдельного разбора: переоптимизация (подгонка под шум прошлого), lookahead bias (использование данных, недоступных на момент сделки), survivorship bias (тест только на «выживших» инструментах), игнорирование издержек (спред, комиссия, проскальзывание), слишком короткая или «удобная» история, data snooping (перебор вариантов до случайного успеха). Каждое из этих смещений в отдельности способно сделать убыточную стратегию «прибыльной» на бумаге.

Как защититься

Единого приёма нет — нужен комплекс. Всегда закладывайте реалистичные издержки. Проверяйте на вневыборочных данных и форвард-тесте. Ограничивайте число параметров. Используйте достаточную и разнообразную по режимам историю. Относитесь к бэктесту как к необходимому, но недостаточному этапу: он отсеивает заведомо плохие идеи, но не гарантирует будущего. Здоровый скептицизм к собственному тесту — лучшая защита от backtest bias.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией (не ИИР).