Как узнать, является ли наша модель прогнозирования точной и надежной, и оценить ее эффективность на невидимых данных? Здесь на помощь приходит бэктестинг.
Что такое бэктестинг?
Чтобы оценить эффективность модели прогнозирования, мы используем процедуру, называемую ретроспективным тестированием (также известную как перекрестная проверка временных рядов). Тестирование на исторических данных — это, по сути, способ проверки того, как модель работала бы, если бы она использовалась в прошлом.
Как это работает?
Чтобы протестировать модель прогнозирования временных рядов, мы начинаем с разделения данных на две части: обучающий набор и проверочный набор (иногда также называемый тестовым набором, но мы уточним разницу в следующих разделах). Учебный набор используется для обучения модели, а тестовый набор используется для оценки того, насколько хорошо модель работает с невидимыми данными. После обучения модели вы можете использовать ее для прогнозирования тестового набора. Вы можете сравнить эти прогнозы с фактическими значениями, чтобы увидеть, насколько хорошо работает модель.
Как мы измеряем эффективность модели?
Существует несколько показателей, которые можно использовать для оценки эффективности модели прогнозирования временных рядов, таких как средняя абсолютная ошибка (MAE) или среднеквадратическая ошибка (RMSE). Эти метрики измеряют, насколько прогнозируемые значения близки к фактическим значениям.
Процедура обычно повторяется несколько раз, что позволяет нам:
- Иметь хорошую оценку производительности модели
- Визуализируйте эволюцию производительности во времени
Здесь ниже мы показываем графическое представление процесса тестирования на исторических данных с использованием 3 разделений:
На рисунке выше мы показываем только 3 непересекающихся периода проверки. Однако ничто не мешает нам использовать больше частично перекрывающихся окон, потенциально по одному на каждый временной шаг.
