Синтетические рыночные данные: полезны для стресс-тестов, опасны для обучения

Финансовая история коротка и произошла один раз. Любой бэктест — это выборка размера один из распределения возможных историй, поэтому стратегия может выглядеть прекрасно и быть артефактом одного конкретного пути.

Синтетические данные — очевидный ответ, и они действительно полезны ровно для одной из двух вещей, ради которых их применяют.

Разумные применения

Устойчивость при ресемплинге. Блочный бутстрап исторического ряда доходностей: берите непрерывные блоки с возвращением и складывайте альтернативные пути, сохраняющие короткодистанционную автокорреляцию. Прогоните стратегию на паре сотен таких путей и смотрите на распределение исходов, а не на одно число.

Это отвечает на вопрос, недоступный одиночному бэктесту: сколько в результате было везения. Стратегия, у которой Шарп по ресемплированным путям колеблется от 0,2 до 2,4, — это не стратегия с Шарпом 1,3, а подбрасывание монеты с приятным средним.

Стресс-сценарии. Постройте условия, которых не было, но которые правдоподобны: гэп на 30% без промежуточных сделок, сбой площадки посреди позиции, глубина стакана в десять раз меньше обычной, фандинг в десять раз выше базового. Вы не предсказываете это; вы проверяете, что система деградирует, а не детонирует.

Заполнение пробелов для инженерных тестов. Сгенерировать синтетический стакан, чтобы проверить, как парсер обрабатывает перекрещенный стакан, уровень нулевого объёма или разрыв последовательности. Заявлений о реалистичности здесь не требуется — вы тестируете ветки кода.

Опасное применение

Обучение сигнальной модели на синтетике. Проблема структурная, а не в качестве генератора.

Генератор содержит допущения о том, как ведут себя рынки. Модель, обученная на его выходе, выучивает эти допущения, а не рынок. Она прекрасно отработает на отложенных синтетических данных — потому что они из того же генератора, — и валидация даст вам уверенность в круговом результате.

Более тонкий провал

Стандартные генераторы — GBM, GARCH, большинство вариантов GAN, обученных на доходностях, — воспроизводят те статистические свойства, вокруг которых их проектировали, и упускают те, что определяют выживание стратегии:

В отсутствующей колонке стратегии и умирают. Модель, обученная на синтетике, конкретно никогда не видела условий, которые важнее всего.

Рабочий протокол

1. Валидируйте на реальных данных вне выборки с purge и embargo. Это и есть результат.
2. Блочный бутстрап ради распределения исходов. Сообщайте диапазон, а не точку.
3. Постройте явные стресс-сценарии и проверьте плавность деградации.
4. Используйте синтетику для инженерных тестов без всяких заявлений о реалистичности.
5. Не обучайте сигнал на синтетике. Если реальных данных слишком мало — это информация о стратегии, а не проблема, которую надо обойти инженерно.

Последний пункт — честный. «Данных недостаточно для валидации» — это вывод. Генерация ещё данных вывод не меняет, она лишь делает его труднее разглядеть.