Вкрапления (embedding)

Что это такое?

Вкрапления — числовые представления слов, изображений или объектов, в которых схожие по смыслу вещи находятся рядом друг с другом в числовом пространстве. Это тот же принцип, что и у векторного представления: термин «эмбеддинг» используется как синоним и в русской, и в английской форме.

Зачем нужны?

Они дают модели способ работать со смыслом объектов, а не только с их точным текстовым или визуальным описанием.

  • позволяют находить похожие по смыслу объекты;
  • лежат в основе поиска, рекомендаций и классификации;
  • помогают модели улавливать контекст, а не только отдельные слова;
  • работают одинаково для текста, изображений, звука;
  • ускоряют сравнение большого количества объектов между собой.

Где применяется?

Поисковые системы, рекомендательные сервисы, корпоративные базы знаний, распознавание изображений.

Пример: сервис подбора персонала сравнивает вкрапления резюме и вакансии, чтобы находить кандидатов, чей опыт по смыслу подходит под задачу, даже если формулировки в резюме и вакансии различаются.

Что важно знать?

В русскоязычных материалах чаще встречается написание «эмбеддинг» или «ембеддинги» — это один и тот же термин, важно определиться с единым написанием для сайта, чтобы не дублировать статьи под разными названиями.

Векторное представлениеЛатентное пространствоТокенизация