Data snooping: когда вы ищете закономерность слишком долго

Data snooping (иногда data mining bias) — ошибка, возникающая, когда вы перебираете так много вариантов на одних данных, что какой-то из них случайно показывает отличный результат. Проблема в том, что это преимущество — иллюзия, порождённая самим процессом перебора.

Почему это происходит

Дело в статистике множественных проверок. Если протестировать одну идею, шанс случайного успеха невелик. Но если перебрать сотни комбинаций индикаторов, параметров, пар и таймфреймов, почти наверняка какая-то из них случайно даст красивую кривую — просто по теории вероятностей. Вы находите не закономерность, а самую «удачливую» случайность из множества попыток.

Чем это отличается от честной оптимизации

Грань тонкая. Разумная настройка одной обоснованной идеи — это нормально. Data snooping — когда вы вслепую перебираете тысячи вариантов без гипотезы, пока что-то не «сработает», а потом объявляете это стратегией. Первое ищет параметры для реальной идеи; второе выуживает случайный узор из шума и принимает его за преимущество.

Как защититься

Начинайте с гипотезы и логики, а не со слепого перебора: у стратегии должна быть причина работать, а не только красивый результат. Ограничивайте число проверяемых вариантов. Обязательно тестируйте лучший найденный вариант на отдельных, невиданных данных (out-of-sample) — случайно «удачная» комбинация там развалится. Помните: чем больше вариантов вы перепробовали, тем сильнее нужно занижать доверие к найденному результату. Data snooping — тихий убийца бэктестов, потому что итог выглядит убедительно, а преимущества за ним нет.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией (не ИИР).