Как отличить работающую МТС от подогнанной под кривую.

Думаю, многие сталкивались с системами, отлично работающими на истории (не имеется в виду глюки МетаТрэйдера), но показывающими посредственные результаты в реальной торговли. Как исключить подгонку под кривую, так называемый curve fitting ? Обобщена ветка с Паука "Как отличить работающую МТС от подогнанной под кривую".
//(C) - Kur, Neo, Vadim.


1. Первый признак. Система должна содержать в себе здравую идею, а не быть просто бессмысленной комбинацией индикаторов.

Комментарий: Против идеи ничего против не имею, нужна она (как же без нее?), но из множества индикаторов можно без всякой идеи выбрать такое подмножество, которое при совместном их использовании в МТС дает приемлемые результаты. Это ведь тоже идея: оптимизиция на множестве индикаторов, хотя с Вашей т.з. может оказаться бессмысленный набор индикаторов.

2. Второй признак. Нельзя, чтобы система зависела от случайного сочетания положений индикаторов.

3. Третий признак. При сочетании индикаторов чаще всего один индикатор бывает ведущим, а остальные вспомогательными. Логика системы не должна меняться с изменением параметров индикаторов.

4. Четвёртый признак. Небольшое изменение параметров не должно сильно менять результаты теста.

Это один из наиболее легкопроверяемых признаков. Если по результатам тестов небольшое изменение параметров бросает результаты от сильноприбыльных к сильноубыточным, это верный признак, что система была подогнана под кривую. В нормальной системе прибыльные параметры лежат кучно.

5. Пятый признак. Количество тестов должно лежать в разумных пределах.

Чем больше количество тестов, тем больше вероятность, что даже для самого абсурдного сочетания индикаторов найдутся параметры, которые дадут хорошую прибыль. Если в тестах прогоняются десятки тысяч вариантов, прибыльные результаты обязательно будут. На мой взгляд, разумное количество тестов не должно превышать 1000 комбинаций по всему диапазону параметров, а оптимальным я считаю 500 и менее.

6. Шестой признак. Количество оптимизируемых параметров (как явных, так и неявных) должно лежать в разумных пределах.

Чем меньше число параметров системы, тем лучше. Чем проще система, тем она устойчивее. Хотя это вопрос довольно сложный и неоднозначный. Большой разницы между явно заданным параметром оптимизации и неявным (т.е. индикатором с жестко заданными значениями) я не вижу. Само количество применяемых индикаторов тоже является неявной оптимизацией. Единственная рекомендация - чем меньше оптимизируемых параметров, тем надёжнее, хотя провести явную грань я затрудняюсь. В литературе часто встречал упоминания, что число явно заданных оптимизируемых параметров не должно превышать 5. В этом есть смысл, хотя цифра очень условная.

7. Седьмой признак. Участок графика, на котором оптимизируется система, должен включать различные варианты поведения рынка.

Т.е. система должна быть проверена и на трендах разной протяжённости и крутизны, и в каналах разной ширины, и на флэтах. Для часовых графиков я считаю оптимальным период в 4 года, а минимальным - в 2.

8. Восьмой признак. Количество сделок на тестируемом участке должно быть представительным с точки зрения мат.статистики.

Если количество сделок менее 30, это говорит не столько о подгонке под кривую, сколько о недостаточности данных для построения выводов о данной системе. В любом случае, применять такую систему нельзя.

9. Прибыль системы не должна зависеть от прибыли небольшого количества отдельных сделок

Это означает, что сделки, выходящие по прибыли скажем за 3 СКО, необходимо отсекать, иначе результат теста системы будет зависеть от случайных прибыльных трейдов.
Однако этоим признаком нужно очень осторожно пользоваться при тестировании трендследящих стратегий поскольку они часто и делают много мелких прибыльных и убыточных сделок и несколько очень прибыльных трейдов.

10. Хорошая система продолжает работать С ТАКИМИ ЖЕ РЕЗУЛЬТАТАМИ как на полных данных, так и на неполных (аналогично, для данных из разных источников). Понятное дело, что в результате оптимизации параметры будут другими (всё-таки число свечек в сутках влияет на длину рыночного цикла), но в целом на работе системы это не отражается.

_______
Ну и, наконец, про системы, заглядывающие в будущее. Чаще всего это не подгонка под кривую, а просто ошибка, которая выявляется при первой же попытке применить систему на практике. Не буду выделять этот случай в отдельный признак, а просто упомяну вскользь.