In-sample и out-of-sample: зачем делить выборку в бэктесте

Разделение выборки на in-sample и out-of-sample — простой приём, который отделяет честный бэктест от красивого самообмана. In-sample — часть истории, на которой вы настраиваете стратегию. Out-of-sample — та, которую она «не видела» при настройке и на которой проверяется по-настоящему.

Зачем это нужно

Если прогонять одну идею по всей истории и выбирать лучший результат, вы почти неизбежно подгоняете её под уже известные данные. Отложенная часть решает проблему: результат на ней честнее, потому что параметры под неё не подбирались. Совпало качество на обеих частях — к стратегии можно относиться серьёзнее.

Как делить

Типичный подход — отдать под настройку 60–80% истории, а остаток оставить нетронутым для проверки. Важно не подсматривать в out-of-sample при оптимизации: как только вы начинаете подкручивать параметры «чтобы и там было хорошо», независимость теряется, и смысл проверки исчезает.

Что показывает разрыв

Если на in-sample стратегия блестит, а на out-of-sample разваливается — это классический признак переоптимизации. Небольшое снижение качества нормально, резкий провал — тревожный сигнал. Честное деление выборки не делает стратегию прибыльной, но избавляет от иллюзий до того, как вы рискнёте реальными деньгами.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией (не ИИР).