Градиентный спуск (Gradient Descent)

Что это такое?

Градиентный спуск — это метод обучения, при котором модель шаг за шагом уменьшает свою ошибку. На каждом шаге она считает градиент, то есть направление, в котором ошибка растёт быстрее всего, и сдвигает параметры в противоположную сторону. Так повторяется тысячи и миллионы раз, пока ошибка не перестанет заметно уменьшаться. Образ: спуск с горы в тумане, когда шагаешь туда, где под ногами круче вниз. Это основной способ обучения нейросетей и многих других моделей. Каждый такой проход называют шагом, а полный круг по всем обучающим данным эпохой. Модель может пройти десятки и сотни эпох, прежде чем ошибка стабилизируется. От скорости и качества этого процесса зависят сроки и стоимость обучения.

Зачем нужен?

Перебрать все возможные параметры модели невозможно: их слишком много. Градиентный спуск ищет хороший вариант шаг за шагом.

  • находит параметры, при которых ошибка модели минимальна;
  • обучает нейросети с миллионами и миллиардами параметров;
  • обрабатывает большие данные по частям;
  • подходит для разных моделей, от простых до глубоких;
  • не требует знать правильные параметры заранее.

Где применяется?

Обучение языковых моделей, прогнозирование, распознавание изображений и речи, рекомендательные системы.

Пример: интернет-магазин обучает рекомендательную модель. Градиентный спуск постепенно подстраивает параметры, чтобы предложенные товары чаще совпадали с теми, что покупатели в итоге кладут в корзину.

Что важно знать?

Размер шага, или скорость обучения, решает многое. Слишком большой шаг перепрыгивает лучшее решение, слишком маленький растягивает обучение на недели. Метод может остановиться в «локальной яме»: решение хорошее, но не лучшее из возможных.

Поэтому на практике используют улучшенные версии, например расчёт по небольшим порциям данных. Суть при этом остаётся той же.

ГрадиентФункция потерьЭпоха обученияОптимизация гиперпараметров