Евклидово расстояние

Что это такое?

Евклидово расстояние — это обычное расстояние по прямой между двумя точками, только применённое к данным. Если описать клиента несколькими числами, например возрастом, средним чеком и числом покупок в месяц, он превращается в точку в многомерном пространстве. Расстояние между двумя такими точками показывает, насколько клиенты различаются: чем оно меньше, тем они больше похожи. Формула та же, что в школьной теореме Пифагора: разницу по каждому показателю возводят в квадрат, складывают и извлекают корень. Так модель получает простой способ измерить «похожесть» объектов одним числом. Это одна из самых старых и самых часто используемых мер сходства в анализе данных.

Зачем нужно?

Оно даёт модели линейку, которой можно сравнить любые два объекта, описанные числами.

  • находит похожие объекты: клиентов, товары, документы;
  • служит основой кластеризации, то есть группировки данных без заранее заданных категорий;
  • помогает методу ближайших соседей: решение принимают по самым похожим примерам из прошлого;
  • выявляет объекты, которые далеко от остальных, то есть возможные аномалии;
  • считается быстро даже на больших массивах данных.

Где применяется?

Рекомендательные системы, сегментация клиентов, поиск похожих изображений, контроль качества на производстве, поиск аномалий.

Пример: ретейлер разбивает покупателей на группы по сумме чека, частоте заказов и доле товаров по акции. Покупатели с малым расстоянием друг до друга попадают в один сегмент, и для каждого сегмента готовят свои предложения.

Что важно знать?

Евклидово расстояние чувствительно к масштабу. Если один показатель измеряется в тысячах (чек в рублях), а другой в единицах (число заказов), первый заглушит второй. Поэтому данные сначала приводят к одной шкале. Этот шаг называют нормализацией.

В пространствах с сотнями измерений расстояния между точками становятся почти одинаковыми и хуже различают объекты. Для сравнения текстов и эмбеддингов часто берут косинусное сходство: оно сравнивает направление векторов, а не расстояние между ними.

КластеризацияВекторное представлениеВекторный поискНормализация данныхПризнак (feature)