Дрейф данных (Data Drift)

Что это такое?

Дрейф данных — изменение входных данных, с которыми работает модель, по сравнению с теми, на которых её обучали. Меняется ассортимент, приходят клиенты из новых регионов, обновляется оборудование, и данные начинают выглядеть иначе. Модель продолжает работать, но её точность постепенно падает, потому что она встречает то, чего не видела при обучении.

Зачем знать?

Дрейф не виден без мониторинга: модель не сообщает об ошибке, она просто начинает ошибаться чаще.

  • объясняет, почему модель, хорошо работавшая на старте, через год даёт худшие результаты;
  • подсказывает, когда модель пора переобучать;
  • помогает заранее заметить изменения в бизнесе по данным.

Где применяется?

Мониторинг моделей в прогнозировании спроса, скоринге, антифроде, контроле качества, рекомендательных системах.

Пример: модель прогноза спроса обучали до того, как магазин запустил доставку. Доля онлайн-заказов выросла, структура продаж изменилась, и прогнозы стали систематически промахиваться, пока модель не переобучили на новых данных.

Что важно знать?

Дрейф данных путают с дрейфом концепции. При дрейфе данных меняется то, что приходит на вход. При дрейфе концепции меняется сама связь между входом и правильным ответом. Оба случая лечатся переобучением, но обнаруживают их по-разному.