Признаки или глубокое обучение: что реально работает на рыночных данных

В том, что выигрывает на табличных финансовых данных, есть устойчивая закономерность, и она разочаровывает тех, кто ждёт ответа «нейросеть».

Проблема отношения сигнал/шум

В распознавании изображений метка практически детерминирована входом — кот это кот. В предсказании рынка один и тот же вектор признаков может предшествовать и росту, и падению, а лучшая достижимая точность едва выше случайной.

Это меняет то, что покупает ёмкость модели. При высоком сигнал/шум большая ёмкость извлекает больше структуры. При низком — она в основном извлекает больше шума, и делает это с большой уверенностью.

Почему бустинг продолжает выигрывать

• Эффективность по выборке. Полезный результат на десятках тысяч примеров, а не на миллионах. Финансовая история коротка — рыночных дней конечное число.
• Устойчивость к масштабу и выбросам. Деревья разбивают по порядку, а не по величине. Выброс в десять сигм не искажает модель так, как искажает градиент.
• Интерпретируемость. Важность признаков и частичная зависимость читаются напрямую, а это важно, когда оператор должен подписаться под боевой системой.
• Быстрая итерация. Минуты на обучение означают десятки честных экспериментов в день. При низком сигнал/шум количество итераций и есть узкое место.
• Пропуски. Обрабатываются нативно. В рыночных данных есть дыры.

Поэтому наша собственная библиотека TideGBM — градиентный бустинг, а не что-то более модное, и поэтому силы ушли в purged-валидацию, а не в ёмкость.

Куда усилия действительно окупаются

Не в поиск архитектуры. В признаки. Хорошо построенный признак кодирует предметное знание, для самостоятельного обнаружения которого модели понадобились бы огромные данные, — а их не существует.

В нашей модели разворота 59 признаков четырёх семейств, и честная разбивка того, где живёт предсказательная сила, поучительна:

Последнюю строку мы публикуем, а не прячем. Формулы — та часть, которая выглядит изобретательно и вносит меньше всего; это распространённая форма, и её стоит ожидать.

Где глубокое обучение всё-таки выигрывает

Три узких случая, и у всех общее свойство: у входа есть структура, которую дерево не может использовать.

1. Сырые последовательности стакана. Свёрточные модели или внимание по полному стакану во времени способны найти паттерны, которые ручные сводные признаки сглаживают, — при большом объёме данных и записи на разрешении событий.
2. Межинструментальная структура. Обучение связям между сотнями символов одновременно, где структура взаимодействий и есть суть.
3. Обучение представлений для дальнейшего использования. Выучить эмбеддинг состояния рынка, который затем питает более простую модель.

Всем трём нужна инфраструктура, которой у большинства операций нет: месяцы записанных данных высокого разрешения и дисциплина валидировать с purge и embargo несмотря на более долгий цикл обучения.

Практическая рекомендация

Начинайте с бустинга на признаках, которые вы можете объяснить. Установите честную базовую линию вне выборки при purged-валидации. И только затем спрашивайте, обыгрывает ли её более сложная модель — измеренная так же, с теми же применёнными издержками.

По нашему опыту честное сравнение чаще закрывает вопрос, чем нет, а сэкономленное время уходит в две вещи, которые действительно улучшают результат: лучшие признаки и лучшее исполнение.