
Строительство
Применение ИИ в строительстве: восемь процессов, где эффект можно измерить
[читать статью]
Дистилляция знаний — способ перенести умения большой модели в маленькую. Большую модель называют учителем, маленькую учеником. Ученик обучается не только на правильных ответах, но и на том, как учитель оценивает варианты: насколько он уверен в каждом. В результате маленькая модель работает почти так же точно, но требует в разы меньше вычислений.
Большие модели точны, но дороги в работе. Дистилляция помогает получить похожее качество дешевле.
Мобильные приложения, промышленные устройства, корпоративные ИИ-помощники, которые должны работать на собственных серверах компании.
Пример: компания обучает компактную модель для классификации входящих писем на ответах большой языковой модели. Компактная модель работает на сервере компании и обрабатывает поток писем без обращения к внешнему сервису.
Ученик почти никогда не превосходит учителя и может проседать на редких и сложных случаях. Перед внедрением его проверяют на тех задачах, где ошибка стоит дороже всего.