Оптимизация параметров EA без переобучения

Оптимизатор в тестере всегда найдёт лучший параметр — это его работа. Вопрос в том, что этот параметр даст на данных, которых он не видел. Мы поставили эксперимент на двенадцати парах.

Оптимизация параметров советника: устройство эксперимента

Выборку каждой пары разделили пополам. На первой половине перебрали 96 значений периода EMA и выбрали лучшее по доходности. Затем прогнали это же значение на второй половине, которая в подборе не участвовала. Никакой хитрости: ровно то, что делает любой оптимизатор в тестере.

Цифры эксперимента

• Перебрано 96 значений периода EMA на первой половине выборки
• Медианный результат лучшего параметра на своих данных — 5.61%
• Он же на второй половине, которой не видел, — -2.51%
• Результат ухудшился на 8 парах из 12, ушёл в минус на 9

Симуляция прогнана по 518 дневным барам каждой из 12 пар тем же кодом, что и остальные расчёты портала. Данные открыты, скрипт лежит в репозитории — расчёт воспроизводится.

Разрыв между подобранным и реальным

Медианная доходность лучшего параметра на своих данных — плюс 5,6 процента. На чужих — минус 2,5. Результат ухудшился на восьми парах из двенадцати и ушёл в минус на девяти. Разрыв в восемь процентных пунктов и есть цена подбора: она измеряет не качество стратегии, а степень подгонки под конкретный отрезок.

Деталь, которая объясняет всё

Посмотрите на медиану по всем 96 параметрам, а не только на лучший. На большинстве пар она отрицательная — то есть типичное значение параметра давало убыток, и лишь отдельные значения показали плюс. Это портрет случайности: если бы у правила было настоящее преимущество, работал бы диапазон параметров, а не одна точка. А на одной паре даже лучший из 96 параметров оказался убыточным — оптимизатор честно выбрал наименее плохой вариант и всё равно проиграл.

Как оптимизировать, не обманывая себя

Три правила. Смотреть не на пик, а на плато: параметр, окружённый другими работающими значениями, надёжнее одиночного выброса. Считать число проверенных вариантов и требовать тем большего запаса, чем их больше. И держать часть данных нетронутой до финальной однократной проверки — повторное использование отложенной выборки превращает её в обычную обучающую.

Чего оптимизация не может дать

Она не создаёт преимущество, а только настраивает существующее. Если у правила края нет, лучший параметр — это лучшая случайность, и она не переносится. Практический признак: прогоните оптимизацию на нескольких инструментах. Если лучшие параметры на них сильно разные — как в нашем эксперименте, где они разбросаны от 14 до 93, — вы подбираете шум.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией. Результаты тестирования на исторических данных не гарантируют аналогичных результатов в будущем. Торговля на форексе сопряжена с риском потери капитала.

Частые вопросы