НейроГалактика

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » НейроГалактика » Анализ ВР с применением Нейросетевых технологий » Переобучение/переподгонка


Переобучение/переподгонка

Сообщений 1 страница 20 из 34

1

По просьбам трудящихся давайте пообсуждаем эту тему. Сначала поговорим про стратегию на СС, поскольку запрос был озвучен именно в этом топике. Наиболее прямой вариант такой стратегии: покупать, когда быстрая СС пересекает вверх медленную и продавать, когда она пересекает вниз. Почему такая стратегия в основном даёт неплохие результаты при оптимизации на некоторой истории и плохо или даже никак не работает на новых данных?
Давайте подумаем какой вообще смысл данной стратегии. Хотя это и не говорится, она предполагает некоторые априорные предположения о поведении цены. В частности предполагается, что имеется два цикла: быстрый (СС с коротким периодом) и медленный (СС с длинным периодом).
Если бы это было так то график цены хотя бы отдалённо должен был бы напоминать сумму двух синусоид – т.е. некоторый боковой канал. А это бывает относительно нечасто.
Кроме того, предполагается, что на рынке действует своего рода «инерция»: если быстрая СС «пробила» медленную в некотором направлении, то это направление будет сохраняться определенное время, достаточное для того, чтобы извлечь прибыль. Собственно, исходя из гипотезы «инерции», можно практиковать стратегию и без использования пересечения СС – просто следовать за трендом в надежде, что он сохранится ещё достаточно долго. В принципе моё изучение реальных рыночных данных показало отсутствие инерции на всех тайм-фреймах: от минуток до дневных графиков. Кроме того, следует также учитывать тот факт, что большинство трендов на ФОРЕКСЕ имеют стохастический характер (т.е. являются результатом процесса т.н. «случайного блуждания»), а не детерминистический характер. Это тоже подрывает гипотезу инерции. Но здесь мы не будем сильно углубляться в эти вопросы. Они заслуживают отельного обсуждения.
Т.о., стратегия на СС предполагает: 1) «веру в тренд»; 2) использование пересечения СС в качестве сигнала для открытия позиции (в принципе тоже совершенно непонятно, почему это должно работать).
Мы видим, что эта стратегия не имеет под собой достаточных оснований. Почему же тогда она даёт «прибыльный» метод торговли при оптимизации периодов СС? Ответ очевидный. Это происходит чисто случайным образом. Если перебирать все возможные периоды СС, то весьма вероятно найти такое их сочетание, которое даст «прибыль» на том массиве данных, который использовался для подгонки параметров СС. Собственно говоря, я полагаю, что при использовании оптимизации СС вообще никогда (или практически никогда) не происходит обобщения, т.е. возможности правильного прогноза на новых данных. Поэтому если уж мы на столько продвинуты, что используем методы оптимизации, тогда уж лучше использовать НС-методы или даже просты линейные модели, поскольку они потенциально способны к обобщению. Кроме того, обобщающую способность в них можно достаточно непосредственным образом контролировать. Это мы рассмотрим в следующем кусочке этой темы. Пока кушайте этот :)

0

2

Если бы можно было сразу два респекта поставить - я бы поставил. А пока что - один респект выражен "плюсиком" и еще один - словами:  :hi:

По-моему, это - один из лучших твоих постов: кратко, доступно, понятно. СПАСИБО огромное. И, прежде, чем высказаться в ответ, хочу добавить, что видимо, зря времени ты не терял, ибо как-то уже чувствуется (хотя бы по тому, какое суждение ты сделал о характере движения форексовых финансовых инструментов, - совершенно правильное, на мой взгляд), что ты даром времени не терял, и, видимо, уже не мало прочитал про форекс.

Ну, а теперь, - мои мысли по поводу твоего поста.

1) Безусловно, сама по себе стратегия, основанная на двух скользящих средних не может в общем случае давать прибыль (и уж точно она не способна ни к какому прогнозированию). На интуитивном уровне я это понимал всегда, но теперь, когда ты так четко и грамотно "разделал ее под орех", я знаю еще и ПОЧЕМУ она не дает и не может давать прибыль сама по себе. Для меня эта стратегия всегда служила чем-то таким опорным... т.е., она давала мне какой-то костыль: когда войти в рынок, когда из него выйти, позволяла соблюдать дисциплину. И засчет ММ она приносила прибыль в течение трех месяцев подряд (см. "Месяцовые отчеты"). Однако, я всегда предполагал, что не худшие, а может быть, даже и лучшие результаты можно получить путем бросания монетки.

2) Чисто, опять же, на интуитивном уровне, я понимал, что факт пересечения медленной СС быстрой СС (быстрая пересекает медленную) сам по себе не несет ровно никакой прогнозирующей информации (и не может нести). Поэтому, например, когда у меня спрашивал кто-то из коллег или знакомых: "Куда пойдет рынок?", я отвечал: "Понятия не имею". А вот на вопрос "Куда ты стоишь?" я всегда мог четко ответить: "Стою вверх" (например). Это полностью подтверждает то, что стратегия на 2-х СС полностью основана на вере в то, что рынок имеет некоторую инерционность. И в этом вопросе я полностью с тобой согласен.

3) Следующий вопрос, который возникает: вообще ли скользящие средние (в каком бы то ни было количестве), возможно, фильтруя друг друга, или используясь каким бы то ни было способом в какой бы то ни было комбинации не могут дать нам никакой реальной почвы для анализа, или это не так? И еще один вопрос: понится, еще в начале развитися нашей с тобой переписки (когда форум только появился) мы обсуждали, есть ли необходимость и/или смысл подавать на какую-то НС-машину несколько СС... так вот, похоже, что мы еще не ответили толком на этот вопрос...

И еще раз спасибо тебе, Вадим! Я очень-очень рад, что ты вернулся и снова постишь. Без тебя мне было как-то тяжело... :help:

0

3

когда войти в рынок, когда из него выйти, позволяла соблюдать дисциплину

Да. Это похоже её гл. "плюс". Поскольку сигналы даются достаточно чёткие и однозначные. В плане дисциплины торговли это хорошо.

3) - вполне возможно, что да. Есть гипотеза, что у рынка оч. длинная память, но обучать НС, скажем, со 100 нейронами на входе, а то и больше весьма проблематично. Как альтернатива: подать на вход несколько недавних свечек + значения СС с возрастующими периодами, напр, 10 20 30 и т.д. Так можно значительно сократить размерность входа и при этом сохранить информацию о прошлом поведении цены (чем медленней СС, тем больше она зависит от прошлого). Пока это на уровне гипотезы. Но вроде бы достаточно логичным кажется.

Кстати я задолжал тебе как минимум три респекта (всё время забывал поставить) - получай!!! ;-)

0

4

:-[ спасибки  :-[

хм... очень даже интересная идея... подавать на входы НС скольящие средние не как таковые, а как "отражения" состояния цены в прошлом... хм. Круто придумано! Блин! мдя...  :mda:  ведь и правда...  :hm:

0

5

Кстати, что интересно, Алекс получил достаточно интересные данные.

Он-таки заказал у стороннего программиста эксперта, который реализует мою систему (условно названную "С.П.О.Т") и при бэк-тесте на за год система дала небольшой профит (примерно около 100% в год) даже БЕЗ МАНИМЕНЕДЖМЕНТА! Вот чуто удивительно.

А ведь я, когда задавал параметры данной системы (все параметры: периоды усреднений для каждой СС, Размеры стопов и профитов и т.д.) - я не производил ПОДГОНКУ в полном смысле этого слова.

Я лишь выбрал несколько десятков входов, которые, на мой взгляд были
1) типично прибыльными
2) типично нейтральными
3) типично убыточными
(причем, вывод о "типичности" я делал полностью "умозрительно")... ну, и на основании этой (крайне малой) выборки я "задал" параметры. Оказалось, что они весьма близки к оптимальным.

Однако, после теста Алекс высказал предположение о том, что размер стоп-лосса можно оставить как есть, а вот размер тейк-профита следовало бы увеличить со 160 до 195 пт.

Таки вот вопрос... то, что я делал - это было подгонкой?
Еще вопрос - почему ж тогда моя система дает профит даже без ММ, если в общем виде система, основанная на СС не может давать профита, ибо она не соответствует рыночной модели. (Лично мой ответ на данный вопрос - потому, что СТОП меньше ПРОФИТА).

Таки вот новости...

0

6

Не хочу быть скептиком, но не исключено, что этот результат - просто случайность. Было бы неплохо протестировать на нескольких выборках, тогда можно было бы сказать что-то более определенное. Если есть возможность, скиньте мне сам ряд прибылей/убытков, как он есть, тогда я смогу сказать больше...

0

7

Ну, если речь идет о другом временном периоде данного финансового инструмента - то я согласен. Такое имеет смысл. Если же речь идет вообще о другом финансовом инструменте - то я не согласен. Эксперимент заранее обречен на провал (если только его параметры не очень сходны с параметрами исходного инструмента).

Что касается ряда прибылей-убытков - сделано. Лови. (Данные легко открыть Экселем, обработать как тебе надо, а там уж - передавай их куда хочешь и в каком хочешь формате). Будет интересно узнать твое мнение, даже если оно будет скептическим. Нам всякие мнения важны.

0

8

Ну, если речь идет о другом временном периоде данного финансового инструмента - то я согласен

Ну да, было бы неплохо протестировать, напр., на периоде годом раньше того, на котором производилось тестирование, а ещё лучше провести тестирование за несколько лет по каждому году отдельно.

0

9

Я склоняюсь к мысли, что стратегия прибыльная, т.е. с положительным мат.ожиданием - насколько большим - это уже другой вопрос. Но прибыльность эта идёт не от скользящих средних, а от манипулирования лоссами, профитами и GTC-ордерами. Т.е. я рассматриваю эти данные как подтверждение моей теории об оптимальных лоссах и профитах. Я полагаю, что СС - просто моделируют вход "по монетке", а всю остальную работу делают лоссы и профиты. Было бы очень интересно протестировать на фунте за год до этого периода тестирования и посмотреть, что там получится...
Сверхшикарно, конечно, было бы сделать вход по генератору случ. чисел с той же самой системой ордеров...

0

10

Я склоняюсь к мысли, что стратегия прибыльная, т.е. с положительным мат.ожиданием - насколько большим - это уже другой вопрос. Но прибыльность эта идёт не от скользящих средних, а от манипулирования лоссами, профитами и GTC-ордерами. Т.е. я рассматриваю эти данные как подтверждение моей теории об оптимальных лоссах и профитах. Я полагаю, что СС - просто моделируют вход "по монетке", а всю остальную работу делают лоссы и профиты. Было бы очень интересно протестировать на фунте за год до этого периода тестирования и посмотреть, что там получится...

ян 2005- ян 2007 (минутки алпари) СС(2,5,9): общее количество сигналов 322 ,среднее значение(между сигналом на вход и сигналом на выход) максимального отклонения в пунктах  в "угаданном" направлении = 102,2454, в противоположном =63,8417. За тот же период и на тех же данных СС(2,3,12) предсказывает с вероятностью 0,58.
В данном случае говорить о подгонке к истории не приходится .Так как характер  предсказания сигнала соседних значений СС также дает положительное мат ожидание. ( Это один из критериев отсутствия подгонки)
Средние значения отклонений можно конечно использовать как базовые при определении стоплосса и текпрофита...
но оптимальные значения стопов и профитов будут другими. Эти значения в большей степени зависят от характера поведения фунтика чем от СС. То есть если сигналы на вход выход подавать будут другие трендовые индюки, то
оптимальные значения стоплосса и тейкпрофита будут изменятся не значительно.

Сверхшикарно, конечно, было бы сделать вход по генератору случ. чисел с той же самой системой ордеров...

Вот цитата РАЛЬФА ВИНСА - "В отношении управления капиталом очень важно понимать, что при игре с от-
рицательным ожиданием нет схемы управления деньгами, которая может
сделать вас победителем. Если вы продолжаете играть, то независимо от
способа управления деньгами вы проиграете весь ваш счет, каким бы большим
он ни был в начале.
Эта аксиома верна не только для игры с отрицательным ожиданием, она ис-
тинна также для игры с равными шансами." Если ты не согласен с автором то проверить кончно на генераторе случайных чисел это дело святое.  :-)  Правда непонятно зачем тогда рекомендуешь этих авторов для прочтения...

0

11

В предыдущем посте  :-) пропустил вероятность предсказания СС(2,5,9) равного 0,61.

0

12

Если ты не согласен с автором то проверить кончно на генераторе случайных чисел это дело святое.

Абсолютно согласен. Просто я считаю, что положительное мат.ожидание создаёт система управления лоссами и профитами, а не сигналы СС. Это моё утверждение идет в противовес сложившемуся мнению, что положительное ожидание может создать только система прогнозирования. Я считаю, что такое ожидание может создать и система лимитирования (т.е. установки лоссов и профитов) за счет учета некоторых стат. "неравномерностей", существующих между размерами лоссов и профитов и вероятностями их срабатывания.
Собственно кто сказал, что торг. система - это обязательно пронозирование? По Винсу управление капиталом включает только определение оптимального f, т.е. количества задействуемых лотов. Понятно, что как ни крути этим количеством убыточная система не станет прибыльной (можно только отсрочить разорение). А уж за счёт чего система приносит прибыль (прогнозирования, астрологии, лимитирования, стучания об дерево и т.д. и т.п.) не имеет значения. Лимитирование - это не управление капиталом (крое само по себе не может создать положит. мат. ожидания), а альтернативное прогнозированию средство извлечения прибыли даже из абсолютно непредсказуемых временных рядов, если они при этом удовлетворяют некоторым статистическим свойствам, если в них есть определённые "неравномерности". В отличие от прогнозирования, лимитирование имеет достаточно скронные возможности (определяемые характером стат. "неравномерностей"), т.е. оно имеет четко обозначенный потолок. Прогнозирование тоже имеет потолок, но он имеет совершенно другой характер - это просто логический факт, что нельзя прогнозировать лучше, чем 100% правильно предсказанных событий. Естественно, что прогнозирование сулит большую прибыль, но так же естественно, что извлечь её гораздо сложнее. Кроме того, не стоит исключать такой вариант, что рынок совершенно непредсказуем (я имею виду теханалитическую предсказуемость по прошлым значениям ряда, а не предсказуемость вообще, скажем, по фундамент. факторам или некой инсайдерской информации и т.п.). В такой ситуации, лимитирование - это вообще всё, что у нас есть.

Вот смотри. Берем последовательность прибылей/убытков и проводим элементарный стат. анализ:

- прибыльные сделки 33%
- убыточные сделки 67%
- ср. размер приб. сделки 123 пт.
- ср. размер убыт. сделки -48 пт.

Мат.ожидание системы: 123*0.33-48*0.67=8.4 пт.
Колво сделок 140
Ожидаемый конечн. капитал: 1000+8.4*140=1000+1176=2176 пт.
Реальный конечн. капитал: 2191 пт.

Откуда берется прибыль в этой системе, если число прибыльных сделок в 2 раза меньше, чем убыточных? Прибыль возникает, потому что средний размер прибыльной сделки примерно в 2,5 раза больше, чем убыточной. А это, скорее всего, связано с тем, что лоссы и профиты были выбраны довольно удачно, что создало положительное мат.ожидание. Причем, отмечу, как я и говорил раньше, (и как пишет Винс), что даже небольшого пол. мат.ожидания достаточно, чтобы приносить вполне устойчивую прибыль. Мы видим, что мат.ожидание системы довольно таки маленькое, и если бы стопы были выбраны менее удачно, то это убило бы это маленькое ожидание, и система стала бы убыточной.

А что же скользящие средние? Конечно, здесь невозможно строго доказать, что они не дают никакого положительного вклада в мат.ожидание системы (и точно так же нельзя доказать, что дают!). Но я лично склоняюсь к мысли, что это так и есть. Если бы СС хоть как-то помогали в предсказании, то можно было бы ожидать, что количество прибыльных и убыточных сделок будет одинаковым, ну или хотя бы 40% и 60% соответственно, а не 33% и 67% как в нашем случае.

Если бы сделать вход по генератору случ. чисел, то как раз можно было бы установить дают ли СС какой-то более-менее выраженный эффект или нет.

0

13

Это моё утверждение идет в противовес сложившемуся мнению, что положительное ожидание может создать только система прогнозирования

Сильно сказано! Что вообще можно ожидать от системы прогнозирования на форексе? Можно ожидать следующее:
- когда входить и когда выходить из рынка
- как высоко может двинуться цена и в каком напрвлении.
Мы можем попытаться прогнозировать поведение рынка по принципально отличимым позициям.
1 исходя из истории поведения цены
2 любым другим способом

В первом случае есть шанс определить положительное матожидание.
Во втором его нет.
Если ты входишь  в рынок по монетке то ЛЮБЫЕ ТВОИ МАНИПУЛЯЦИИ со стопами профитами, противостоянием планет ,размерами ставок , комбинацией ставок в зависимости от предыдущих результатов  и вообще еще огромная куча других возможностей не дадут выигрыша.
И все это потому что МОНЕТКА ПРОГНОЗИРУЕТ  поведение рынка , а не величина стоплоса профита а также не размер депозита...
Еще раз... прогнозирует то что отвечает на вопросы
- когда входить и когда выходить из рынка
- как высоко может двинуться цена и в каком напрвлении
Размеры стопов и профитов отвечают только на вопрос "как высоко может двинуться цена"  что очевидно недостаточно...

0

14

Откуда берется прибыль в этой системе, если число прибыльных сделок в 2 раза меньше, чем убыточных? Прибыль возникает, потому что средний размер прибыльной сделки примерно в 2,5 раза больше, чем убыточной. А это, скорее всего, связано с тем, что лоссы и профиты были выбраны довольно удачно, что создало положительное мат.ожидание.

Я тестирую разные инструменты на предмет оптимальных параметров скользящих, чисто "механически" оптимизацию проводил с равными профитами и лоссами например 60 и 60... При подборе оптимальных параметров СС такие пары дают прибыль . Как ты ЭТО обьяснишь?
Тем что я угадал "волшебные значения" стопов и тейкпрофитов?
Ты легко можешь убедится сам, проверив свою теорию таким образом. На фунтике , Стоплосс -60, Тейк профит +160, период выбираешь произвольный но не мение 1.5- 2 года,каждые три дня, ровно в 12 00 входишь по монетке если орел то бай , решка- селл. Ручками считаешь результаты и получаешь либо подтверждение либо опровержение собственной теории. Уверяю тебя это не займет много времени.(Я так понимаю что вера в собственную правоту настолько сильна , что если я пришлю отчет дающий прибыль при равных величинах стоп лосса и тейкпрофита то возникнут подозрения в подгонке результатов к истории, кривости советника и тп.

Отредактировано Aleksim (2007-04-07 20:51:39)

0

15

Ручками считаешь результаты и получаешь либо подтверждение либо опровержение собственной теории.

Я так и планирую сделать, только надо всё-таки автоматизировать как-то этот процесс.

При подборе оптимальных параметров СС такие пары дают прибыль . Как ты ЭТО обьяснишь?

Скорее всего - это подгонка. На новых данных такая система будет работать гораздо хуже или даже вообще будет убыточной. Это беда не только СС, но и любых других методов прогнозирования (да в том числе и стопов, если их подбирать эмпирически). Когда перебираешь достаточно много комбинаций, можно наверняка подобрать какую-то удачную (т.е. дающую прибыль), но это будет просто случайностью. Короче говоря, надо всегда проверять "оптимизированные" системы на новых данных - это самый простой и пожалуй самый надежный способ определить их эффективность. Я не говорю, что СС - совсем не работают (хотя сам крайне скептически отношусь к этому методу), но нет никакого основания думать, что они работают, пока система на СС не проверена на новыъх данных (и даже в этом случае нет 100% гарантий). Я просто призываю к здоровому скептицизму - это тоже своего рода метод ММ :)

0

16

Я так и планирую сделать, только надо всё-таки автоматизировать как-то этот процесс

Ну если Грэя попросишь он, за чашкой кофе, может такой советник изобразить...

Я просто призываю к здоровому скептицизму - это тоже своего рода метод ММ :)

:-) Всецело поддерживаю призыв!

Жду результатов исследования ...

0

17

Спасибо всем участникам дискуссии! Я внимательно слежу за вашими постами, но, если честно, то следить становится с каждым разом все сложнее и сложнее. Видимо, мне не хватает теоретической базы... постараюсь прочитать книгу по управлению капиталом.

0

18

Я так и планирую сделать, только надо всё-таки автоматизировать как-то этот процесс

Хотел спросить... проводились ли эксперементы по оптимальным сл и тп и если да , то каковы результаты...?

0

19

Я думаю, что я скоро тоже включусь в этот процесс. Ибо прочтение таких умных книжек дало мне "плюс один" к энтузиазму и знаниям :) и даже сподвигло на некоторое творчество...

0

20

Aleksim написал(а):

Хотел спросить... проводились ли эксперементы по оптимальным сл и тп и если да , то каковы результаты...?

Широкомасштабные - пока нет. Предварительные - да и все получили на удивление довольно таки близкие к предсказанным результаты, но этого пока к сожалению слишком мало чтобы судить достаточно строго. Я всё таки настроен приобрести Forex Tester и там уже проводить более интенсивные испытания

0


Вы здесь » НейроГалактика » Анализ ВР с применением Нейросетевых технологий » Переобучение/переподгонка