Байесовская оптимизация (Bayesian Optimization)

Байесовская оптимизация — метод поиска наилучших настроек модели (гиперпараметров), который использует результаты предыдущих попыток, чтобы точнее предсказывать, где искать в следующий раз. В отличие от перебора всех вариантов подряд, метод строит вероятностную модель качества и выбирает следующую точку проверки осознанно, а не наугад.

Каждая проверка настроек модели может стоить времени и вычислительных ресурсов, а байесовская оптимизация помогает тратить их разумнее.

• находит удачные настройки модели за меньшее число попыток;
• экономит вычислительные ресурсы и время на обучение;
• работает эффективнее случайного и полного перебора всех комбинаций;
• подходит для задач, где каждая проверка настроек дорога;
• помогает быстрее выходить на рабочую версию модели.

Настройка гиперпараметров моделей машинного обучения, оптимизация промышленных процессов, подбор параметров экспериментов.

Пример: команда подбирает скорость обучения и глубину модели для прогноза спроса, и байесовская оптимизация находит удачную комбинацию за двадцать проверок вместо нескольких сотен.

Метод выигрывает там, где проверка одной комбинации параметров стоит дорого по времени или деньгам. Для простых задач сможет подойти и случайный перебор.