Дообучение на инструкциях (Instruction Tuning)

Что это такое?

Дообучение на инструкциях — этап обучения языковой модели, на котором её учат выполнять просьбы человека. Модели показывают тысячи пар «инструкция и правильный ответ»: перескажи, переведи, составь письмо, найди ошибку. После такого обучения модель не просто продолжает текст, а понимает, что от неё хотят, и отвечает по делу. Именно этот этап превращает языковую модель в помощника, с которым можно разговаривать.

Зачем нужно?

Без него модель хорошо знает язык, но плохо выполняет задания.

  • учит модель понимать формулировку задачи;
  • делает ответы предсказуемыми по формату;
  • помогает модели справляться с задачами, которых не было в примерах;
  • готовит модель к работе в корпоративных сценариях с понятными командами.

Где применяется?

Подготовка языковых моделей к работе в чатах и ассистентах, корпоративные модели под внутренние задачи компании.

Пример: компания собирает набор инструкций по своим типовым задачам («составь ответ на претензию», «выдели из договора сроки и штрафы») и дообучает на нём модель, чтобы она выполняла эти задачи в нужном формате.

Что важно знать?

Качество зависит от набора инструкций: однообразные или неточные примеры дают модель, которая ошибается в похожих случаях. Большинство готовых моделей уже прошли этот этап, поэтому компании обычно дообучают их только под свои задачи.