Тестирование торговой стратегии: бэктест без самообмана
Стратегия без проверки на истории — это вера, а не метод. Маршрут показывает, как честно бэктестить: учитывать издержки, отделять переобучение от находки и читать метрики. Рядом — открытые данные и реальные прогоны портала, которые можно повторить самому.
- 1Проверка гипотез: как не строить торговлю на догадкахНачало: превратить торговую идею в проверяемое утверждение. Без этого шага тестировать нечего.Бэктест и методология
- 2Проверка стратегии на истории: что именно нужно искатьЧто смотреть в результате прогона, кроме итоговой прибыли — и почему прибыль тут наименее информативна.Стратегии
- 3Переоптимизация (overfitting): главный враг бэктестаГлавная ловушка: подгонка под историю, из-за которой красивый тест не воспроизводится на реальных данных.Бэктест и методология
- 4In-sample и out-of-sample: зачем делить выборку в бэктестеПервая защита от подгонки — отложенная часть данных, которую система не видела при настройке.Бэктест и методология
- 5Walk-forward анализ: методология и примерыБолее строгая версия той же идеи: много циклов «настрой — проверь» вместо одного.Бэктест и методология
- 6Sample size: почему маленькая выборка обманываетСколько сделок нужно, чтобы вывод вообще что-то значил. Ответ обычно больше, чем кажется.Бэктест и методология
- 7Статистическая значимость: когда результат действительно неслучаенКак отличить реальное преимущество от везения — и почему на коротких сериях это невозможно.Бэктест и методология
- 8Backtest bias: когда тест истории вводит в заблуждениеКаталог остальных искажений: заглядывание в будущее, ошибка выжившего, игнорирование издержек.Бэктест и методология
- 9Expectancy: как понять, есть ли у стратегии преимуществоМетрика, ради которой всё затевалось: есть ли у системы положительное ожидание.Метрики
- 10Максимальная просадка: как понять предел болиВторая половина оценки: какой ценой получена доходность и доживёте ли вы до неё.Стратегии
- 11Форвард-тест: зачем проверять стратегию в реальном времениПоследний шаг перед реальными деньгами — проверка на данных, которых не существовало при разработке.Стратегии
Ещё материалы по теме
Не входят в маршрут, но относятся к теме. Полные списки с описаниями — в соответствующих категориях блога.
- Overfitting в статистике: когда цифры слишком хорошо подогнаны
- Survivorship bias: почему вы видите только выживших
- Walk-forward analysis: проверка стратегии в движении
- Out-of-sample testing: проверка на незнакомых данных
- Edge decay: почему преимущество со временем слабеет
- Пятница и понедельник: проверяем расхожие приметы
- Проскальзывание в бэктесте против реального
- Бенчмарк buy&hold: с чем сравнивать результат
- Look-ahead bias: подглядывание в будущее
- Data mining bias: как обмануть себя перебором
- Бэктест: пересечение MACD сигнальной линии
- Бэктест: золотой крест EMA(50/200)
- Бэктест: пробой канала Дончиана (система «черепах»)
- Бэктест: моментум по ROC