Градиент (Gradient)

Что это такое?

Градиент — это показатель, который говорит, в какую сторону и насколько сильно нужно изменить параметры модели, чтобы её ошибка уменьшилась быстрее всего. Образ: вы стоите на склоне холма в тумане и ногой чувствуете, где спуск круче. Градиент указывает направление самого крутого подъёма, а чтобы спуститься, идут в обратную сторону. У модели таких «склонов» миллионы, по одному на каждый параметр, и градиент показывает их все сразу. Чем он больше, тем сильнее нужно менять параметр. Считает его компьютер автоматически, вручную его не задают. Это внутренний механизм, благодаря которому модель вообще способна учиться на своих ошибках.

Зачем нужен?

Без градиента модель не знала бы, какой параметр и в какую сторону менять.

  • показывает, какие параметры менять и как, чтобы сократить ошибку;
  • служит основой обучения любой нейросети;
  • помогает увидеть параметры, которые сильнее всего влияют на результат;
  • объясняет, почему обучение «застряло»: если градиент почти нулевой, модель перестаёт улучшаться.

Где применяется?

Обучение любых нейросетей: языковых моделей, систем компьютерного зрения, прогнозных моделей.

Пример: команда обучает модель прогноза спроса. После каждой проверки градиент показывает, как поправить каждый параметр, чтобы ошибка прогноза на следующем шаге оказалась меньше.

Что важно знать?

С градиентами работают инженеры, а руководителю полезно знать две проблемы. «Затухающий» градиент: сигнал слабеет при прохождении через слои, и ранние слои почти не учатся. «Взрывающийся»: значения растут, и обучение выходит из-под контроля.

Если команда говорит, что обучение «не сходится», причина часто в одной из этих двух.

Градиентный спускФункция потерьНейросетьВес признака