Дистилляция знаний (Knowledge Distillation)

Что это такое?

Дистилляция знаний — способ перенести умения большой модели в маленькую. Большую модель называют учителем, маленькую учеником. Ученик обучается не только на правильных ответах, но и на том, как учитель оценивает варианты: насколько он уверен в каждом. В результате маленькая модель работает почти так же точно, но требует в разы меньше вычислений.

Зачем нужна?

Большие модели точны, но дороги в работе. Дистилляция помогает получить похожее качество дешевле.

  • снижает стоимость каждого запроса к модели;
  • ускоряет ответ;
  • даёт запустить модель на своих серверах или на устройстве без мощных видеокарт;
  • упрощает работу в закрытом контуре.

Где применяется?

Мобильные приложения, промышленные устройства, корпоративные ИИ-помощники, которые должны работать на собственных серверах компании.

Пример: компания обучает компактную модель для классификации входящих писем на ответах большой языковой модели. Компактная модель работает на сервере компании и обрабатывает поток писем без обращения к внешнему сервису.

Что важно знать?

Ученик почти никогда не превосходит учителя и может проседать на редких и сложных случаях. Перед внедрением его проверяют на тех задачах, где ошибка стоит дороже всего.

Большие языковые модели (LLM)ДообучениеНейросетевая архитектура