Валидация модели (Model Validation)

Валидация модели — проверка, насколько хорошо модель работает на данных, которые не участвовали в обучении. Часть исходных данных специально откладывают в сторону и после обучения проверяют модель именно на них, чтобы понять, как она поведёт себя на реальных, новых примерах.

Модель, которая отлично справляется с обучающими данными, может провалиться на новых — валидация показывает это заранее.

• показывает реальное качество модели, а не результат на знакомых данных;
• помогает выявить переобучение до запуска в работу;
• позволяет сравнивать разные версии модели между собой;
• поддерживает решение о готовности модели к внедрению;
• снижает риск ошибок после запуска в реальных условиях.

Разработка любых моделей машинного обучения: скоринг, прогнозирование спроса, распознавание образов.

Пример: перед внедрением модели прогноза спроса команда проверяет её на данных последних трёх месяцев, которые не использовались при обучении, и только после этого запускает модель в работу.

Валидация — не разовая проверка, а часть цикла разработки: модель проверяют повторно при каждом обновлении данных или переобучении, иначе точность со временем падает незаметно.