Sample size: почему маленькая выборка обманывает

Размер выборки — сколько сделок вы анализируете — определяет, можно ли вообще доверять выводам о стратегии. Маленькая выборка систематически обманывает: на ней случайность легко выдаёт себя за закономерность.

Почему малая выборка врёт

На небольшом числе сделок правит случайность, а не преимущество системы. Десять прибыльных сделок подряд могут случиться и у стратегии без всякого edge — просто повезло. И наоборот, хорошая система может дать серию убытков на старте. Судить о стратегии по десятку сделок — всё равно что судить о честности монеты по трём броскам: результат ничего не доказывает.

Сколько сделок нужно

Универсального числа нет, но общий принцип — чем больше, тем надёжнее выводы. Несколько десятков сделок дают лишь грубое представление; для сколько-нибудь уверенных выводов обычно нужны сотни. Особенно важно это для стратегий с невысоким винрейтом и редкими крупными выигрышами: там на малой выборке результат сильно зависит от того, попала в неё пара ключевых сделок или нет.

Практические выводы

Не меняйте стратегию после короткой полосы убытков — на малой выборке это может быть просто невезение, а не поломка. Не верьте «граалям», доказанным на десятке сделок или паре недель. Оценивайте систему на достаточной истории и достаточном числе форвардных сделок. И помните обратную сторону: даже большая выборка не гарантирует, что преимущество сохранится в будущем, — она лишь снижает роль случайности в оценке прошлого. Уважение к размеру выборки защищает и от преждевременного отказа от рабочей системы, и от веры в случайно удачную.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией (не ИИР).