Дрейф концепции (Concept Drift)

Что это такое?

Дрейф концепции — изменение закономерности, которую выучила модель. Входные данные могут выглядеть как раньше, но правильный ответ для них стал другим. Например, раньше крупный разовый платёж с нового устройства почти всегда означал мошенничество, а после изменения правил банка это обычная операция. Модель продолжает применять старое правило и ошибается.

Зачем знать?

Такой дрейф сложнее заметить: данные на входе выглядят привычно, а ошибки накапливаются в результатах.

  • объясняет, почему модель ошибается при внешне нормальных данных;
  • показывает, что нужен контроль не только входов, но и итоговых ответов;
  • помогает вовремя переобучить модель после изменений на рынке или в правилах.

Где применяется?

Антифрод, кредитный скоринг, прогнозирование оттока, рекомендательные системы, модели, которые зависят от поведения людей.

Пример: после изменения тарифов клиенты, которых модель считала лояльными, начали уходить. Признаки клиентов не изменились, изменилась причина ухода, и модель перестала её видеть.

Что важно знать?

Дрейф концепции обнаруживают по падению качества на свежих данных с известными ответами. Поэтому в работающем проекте заранее договариваются, как и с какой периодичностью проверять модель на новых примерах.

Дрейф данныхВалидация моделиТестирование модели