Глубокое обучение с подкреплением (Deep Reinforcement Learning)

Что это такое?

Глубокое обучение с подкреплением — это способ научить систему принимать последовательность решений методом проб и ошибок: за удачные действия она получает награду, за неудачные штраф. Решения принимает глубокая нейросеть, поэтому система справляется со сложными ситуациями, где много параметров и неочевидные последствия. Простыми словами: так учат собаку командам, только «собака» здесь программа, а награда выражается числом. Метод применяют в играх, управлении роботами и промышленными процессами. Система не получает готовых правильных ответов: награда задаёт цель, а путь к ней она выбирает сама. Поэтому результат иногда удивляет даже разработчиков.

Зачем нужно?

Метод подходит там, где нет готовых ответов, но можно оценить, насколько хорош результат.

  • обучает систему стратегии в динамичных условиях: нагрузка, маршруты, цены;
  • находит решения, которые человеку не пришли бы в голову;
  • учится на симуляции, без риска для реального оборудования;
  • адаптируется при изменении условий.

Где применяется?

Управление роботами, логистика и маршрутизация, динамическое ценообразование, энергетика, игры.

Пример: на складе работают роботы-тележки. Система получает награду за скорость выполнения заказов и штраф за столкновения и простои. После тысяч симуляций она находит маршруты, которые сокращают очереди на узких участках.

Что важно знать?

Методу нужно много проб, поэтому обучение обычно идёт в симуляции. Построить хорошую модель среды и правильно задать награду непросто. Если награда сформулирована неточно, система находит лазейку и копит баллы, не решая реальную задачу.

Для большинства бизнес-задач, где есть размеченные примеры, проще и дешевле обучение с учителем.

Обучение с подкреплениемГлубокое обучениеНейросетьАгент