Вычислительный граф (Computational Graph)

Вычислительный граф — схема, которая показывает, в каком порядке выполняются математические операции внутри модели: от входных данных до итогового результата. Каждый узел графа — это операция, а связи между узлами показывают, куда передаются промежуточные результаты.

Он помогает системе эффективно считать и обучать модель, а разработчику — понимать и отлаживать её устройство.

• позволяет автоматически считать, как менять параметры модели при обучении;
• помогает распределять вычисления между процессорами и видеокартами;
• упрощает поиск ошибок в архитектуре модели;
• ускоряет обучение за счёт оптимизации порядка вычислений;
• делает возможным обучение моделей с миллиардами параметров.

Разработка и обучение нейросетей, оптимизация моделей глубокого обучения, работа с большими языковыми моделями.

Пример: инженер, обучающий модель прогноза спроса, использует вычислительный граф, чтобы понять, на каком именно этапе вычислений модель тратит больше всего времени, и ускорить обучение.

Вычислительный граф — техническая деталь устройства модели, с которой обычно работают разработчики и дата-сайентисты, а не конечные пользователи ИИ-продуктов.