
Строительство
Применение ИИ в строительстве: восемь процессов, где эффект можно измерить
[читать статью]
Градиентный спуск — это метод обучения, при котором модель шаг за шагом уменьшает свою ошибку. На каждом шаге она считает градиент, то есть направление, в котором ошибка растёт быстрее всего, и сдвигает параметры в противоположную сторону. Так повторяется тысячи и миллионы раз, пока ошибка не перестанет заметно уменьшаться. Образ: спуск с горы в тумане, когда шагаешь туда, где под ногами круче вниз. Это основной способ обучения нейросетей и многих других моделей. Каждый такой проход называют шагом, а полный круг по всем обучающим данным эпохой. Модель может пройти десятки и сотни эпох, прежде чем ошибка стабилизируется. От скорости и качества этого процесса зависят сроки и стоимость обучения.
Перебрать все возможные параметры модели невозможно: их слишком много. Градиентный спуск ищет хороший вариант шаг за шагом.
Обучение языковых моделей, прогнозирование, распознавание изображений и речи, рекомендательные системы.
Пример: интернет-магазин обучает рекомендательную модель. Градиентный спуск постепенно подстраивает параметры, чтобы предложенные товары чаще совпадали с теми, что покупатели в итоге кладут в корзину.
Размер шага, или скорость обучения, решает многое. Слишком большой шаг перепрыгивает лучшее решение, слишком маленький растягивает обучение на недели. Метод может остановиться в «локальной яме»: решение хорошее, но не лучшее из возможных.
Поэтому на практике используют улучшенные версии, например расчёт по небольшим порциям данных. Суть при этом остаётся той же.