Датасет (Dataset)

Что это такое?

Датасет — набор данных, собранный для обучения, проверки или работы модели. Это может быть таблица с историей продаж, архив договоров, тысячи размеченных фотографий или записи звонков. Модель учится только на том, что есть в датасете, поэтому от его состава и качества зависит, как она поведёт себя в реальной работе. Обычно датасет делят на части: на одной модель обучают, на другой проверяют.

Зачем нужен?

Без датасета модель не на чем обучить и не на чем проверить.

  • даёт модели примеры, на которых она учится находить закономерности;
  • служит эталоном при проверке качества;
  • показывает, хватает ли компании данных для ИИ-проекта;
  • помогает сравнивать модели на одних и тех же примерах.

Где применяется?

Любой проект с машинным обучением: прогноз спроса, распознавание документов, контроль качества на производстве, классификация обращений.

Пример: сервисная компания выгружает 50 тысяч обращений клиентов за два года с пометкой, в какой отдел ушло каждое. На этом датасете обучают модель, которая сама распределяет новые обращения.

Что важно знать?

Объём важен меньше, чем качество. Датасет с ошибками в разметке, дублями или перекосом в сторону одного типа случаев научит модель тем же ошибкам. Подготовка данных часто занимает больше времени, чем само обучение.