Глюками это не назовешь - это - просто наплевательское отношение к своему делу тех, кто ведет историю.

1) Почему бывают по воскресеньям котировки - объяснимо: международный валютный рынок, на самом-то деле никогда не отдыхает. Торги идут (пусть и крайне вяло) и в выходные (субб., вс) дни. А вот вопрос "Почему не по всем парам есть воскресные и субботние котировки?" - то уже к архивариусу.

Как быть? или чистить "ручками"... или искать более "полные" временные ряды. Если выберешь "искать", то советую обратить внимание на вот такой сайтик: http://www.forexite.com/default.html?32 (там обрати внимание, что слева есть меню, где есть пункт "История котировок" - есть дневные и часовые бары по очень многим валютным парам и за достаточно большой перод времени. Архивы регулярно пополняются).

2) Почему бывают объемы единичные? - это, скорее всего, просто отсутствующие данные, куда (под одну гребенку) просто взяли и вписали единички, чтобы уж совсем пустот не было. Данные об объемах - противоречивы и неоднозначны (чаще всего, объемы эти отражают количество сделок, произведенных через одного конкретного брокера или пул (объединение поставщиков котировок, брокеров, трейдеров). Однако, почти никогда эти объемы не отражают реальный объем / количество сделок на всем рынке Форекс.

Как быть? Я бы рекомендовал пока что вообще "забить" на объемы. В дальнейшем для отражения "накала рынка" я предложу несколько иных способов. Если "забить" не хочется, то ... ну, опять же... искать более полные данные. В частности, можно потерзать свой МТ (метатрейдер)... обрати внимание, что там в Настройках можно изменять количество баров на графике: первое, что надо сделать - это установить это значение на максимум. Второе - нажав кнопку (на клавиатуре) "Home" ты попадаешь не в самое начало доступной истории, а в самое начало того, что загружено на данный момент. Не обязательно, конечно (всему есть предел), но если ты ранее этого не делал, то удерживание в течение некоторого времени (которое будет зависеть от скорости твоего канала и от "отзывчивости" сервера твоего брокера) позволит тебе с удивлением обнаружить, что "левее" есть еще дынне, которые можно закачивать себе в терминал (ну, и, разумеется, потом сохранять в файлах различных форматов).

3) почему бывает, что в один и тот же рабочий день есть котировки по одной валютной паре, но нет котировок по другой? - это - уж точно безалаберность архивариуса. Котировки должны быть по всем парам. Бывает, конечно, такое, что в какой-то одной стране национальный праздник, но рынок работает (рынок не работает, вообще-то только по всемирным праздникам). Однако, даже в такие дни, когда в Японии, к примеру, День Дерева, котировки по йене все-таки идут (хоть и крайне вяло, опять же).

Как быть? - см. ссылку к первому пункту.

4) Если все это - впадлу... ну, что же... тогда можно попытаться просто "ручками почикать" данные... т.е. пообрезать все те куски, где данные не полные... Однако, мне кажется, стоит скачать просто нормальную историю с сайта, указанного в п.1.

Ну... я же говорю: ведут архивы как попало...

а по той ссылке, что я привел - нормальные архивы, на сколько я могу судить... (я, правда, конечно, не проверял их тщательно...  но... на первый взгляд, аномалий не встречается).

Ну, лично я считаю, что нам важны только цены клоуз. На худой конец, - HLC (хай, лоу, клоуз) - из этого можно посчитать Typical ((H+L+C)/3). А вот опен нам, ИМХО вообще не важен, ибо в большинстве случаев будет совпадать с предыдущим клоузом.

Ну, а если, основываясь на этом, мы отказываемся от опена, то нам и ГЭПы не страшны... ИМХО, надо брать обычные пятидневные котировки... (ну, впрочем, это я говорю, как человек, который просто привык именно к пятидневным...)

А ветку "Форекс-ссылки" я перетащил сюда... ибо, имхо, это к этому разделу больше относится.

Да, в том-то и дело... так что нам надо получать в обучающем множестве то, что мы будем получать от нашего брокера (строить модель, максимально приближенную к реальности).

Я даже никак не могу в толк взять почему тебя так волнует отсутствие данных за выходные... Просто недоумеваю. Для меня совершенно привычно работать с 5-дневными данными так, как будто таких дней как суббота и воскресенье вообще не существует...

Мдя... ну, что я могу сказать по этому поводу... Действительно с котировками - туго. Я, например, имею доступ (опосредованный, правда) к корпоративной базе данных по котировкам... так и там есть пробелы... Причем, их очень много. Грубо говоря: сервер встал (а такое бывает, в среднем, раз в неделю (в рабочее время)) - вот тебе и пробел в базе данных, т.к. котировки от внешнего источника-то поступают, НО в базу данных они не пишутся.

Второе. Большинство брокеров предпочитают не работать с "сырыми" котировками, ибо там уж очень много выбросных бывает. Поэтому, прежде чем записать в базу данных, котировки, обычно сглаживают. Сглаживание, как правило, делается путем усреднения (по аналогии с СС), так что вполне нормальным было бы явление запаздывания (на несколько секунд впроть до 30-40) котировок (ну, это - если смотреть на тиковые графики).

КОРОЧЕ!

Я, конечно, понимаю стремление к мега-точности. Но рекомендовал бы остановиться в этом направлении и обойтись без фанатизма. Фактически, нам необходимо заложить в НС некую МОДЕЛЬ поведения рынка, а не ВСЕ-ВСЕ-ВСЕ В МИРЕ КОТИРОВКИ ыыы.

И еще... мое имхо, что надо обучать отдельные нейросети для каждого "мажора". Ибо поведение их мало, но отличается между собой. (А иногда - существенно). Они отличаются по "темпераменту" (по волатильности т.е.), прежде всего. Т.е., грубо говоря, они идут-то в одном направлении, НО один (фунт, например) проходит в этом направлении 100 пунктов, а еврик - только 50...

Хм... ну, я много размышлял о "сезонности" внутри недели. Пока что я пришел к выводу о том, что ее очень сложно учитывать, и пока что, наверное, лучше отказаться от этого. Вместо этого я предложил бы пользоваться "скоростными" характеристиками ценового движения, которые не меняются мгновенно...

Ну, об этом я еще выскажусь...

Понял... обязательно потружусь над своим "котировкорядом" (по аналогии со звукорядом).

Согласен с доводами. Думаю, что это - того стоит.

угу... а Грэй после всего этого говорит, что программа-менеджер по подготовке данных нам ни к чему, и ни капельки не приблизит нас к победе.

О том, какой менеджер имеется ввиду - см. ветку "Пишу на Дельфи" в форексовом разделе. В задачи этого менеджера можно добавить еще и "отбрасывание явно аномальных котировок, которые ЕСТЬ... (сам грешен... недавно вон... по одной из валютных пар котировал вручную, и в течение целых 15 минут давал котировки, отличающиеся от рынка на 100 пунктов. Благо - пара та была не очень популярная... и исправлять потом пришлось не много сделок... ) ... и, также, возможно, некоторое "восстановление" проблелов по определенным алгоритмам.

Не говоря уже о том, что можно создавать дополнительные примеры для обучения НС на основе имеющихся котировко-рядов. Например, путем добавления волатильности, или наоборот, снижения волатильности, или еще как-нить... типа "Дорогая, я увеличил примеры!"... гы-гы...

Ну, я, конечно же, понимаю, что написать ее можно не за мятнадцать минуток, как я написал вон тот вот "Генератор случайных графиков"... Но я готов уделять этому некоторое время.... и я совершенно никому ничего не хочу продавать. Просто, возможно, "хорошие" котировки, которые когда-нибудь будут подготовлены ... могут быть выложены на сайте моем будущем для всеобщего пользования.