
Строительство
Применение ИИ в строительстве: восемь процессов, где эффект можно измерить
[читать статью]
Градиент — это показатель, который говорит, в какую сторону и насколько сильно нужно изменить параметры модели, чтобы её ошибка уменьшилась быстрее всего. Образ: вы стоите на склоне холма в тумане и ногой чувствуете, где спуск круче. Градиент указывает направление самого крутого подъёма, а чтобы спуститься, идут в обратную сторону. У модели таких «склонов» миллионы, по одному на каждый параметр, и градиент показывает их все сразу. Чем он больше, тем сильнее нужно менять параметр. Считает его компьютер автоматически, вручную его не задают. Это внутренний механизм, благодаря которому модель вообще способна учиться на своих ошибках.
Без градиента модель не знала бы, какой параметр и в какую сторону менять.
Обучение любых нейросетей: языковых моделей, систем компьютерного зрения, прогнозных моделей.
Пример: команда обучает модель прогноза спроса. После каждой проверки градиент показывает, как поправить каждый параметр, чтобы ошибка прогноза на следующем шаге оказалась меньше.
С градиентами работают инженеры, а руководителю полезно знать две проблемы. «Затухающий» градиент: сигнал слабеет при прохождении через слои, и ранние слои почти не учатся. «Взрывающийся»: значения растут, и обучение выходит из-под контроля.
Если команда говорит, что обучение «не сходится», причина часто в одной из этих двух.