Галлюцинация (Hallucination)

Что это такое?

Галлюцинация ИИ — это ситуация, когда модель выдаёт уверенный, гладкий, но неверный ответ. Она может назвать несуществующий закон, придумать цитату или привести цифры, которых нет ни в одном источнике. Проще говоря, модель не знает факты, а подбирает самое правдоподобное продолжение текста. Если подходящих данных нет, она всё равно достроит ответ, и по тону его не отличить от правды. Чаще всего это случается в узких темах, по которым у модели мало данных, и в вопросах о свежих событиях. Опасна именно уверенность: человек без проверки склонен верить такому ответу и передавать его дальше.

Зачем знать о галлюцинациях?

Тот, кто понимает, откуда берутся выдуманные ответы, может заранее выстроить защиту.

  • понять, где ответам модели нельзя доверять без проверки;
  • выбрать способы защиты: база знаний, ссылки на источники, проверка человеком;
  • оценить риск до запуска чат-бота или ассистента для клиентов;
  • объяснить команде, почему «умная» модель иногда ошибается.

Где встречается?

Чат-боты поддержки, юридические и медицинские ассистенты, генерация отчётов и справок, поиск по документам.

Пример: банковский чат-бот на основе языковой модели уверенно называет клиенту ставку по вкладу, которой в линейке банка нет. Клиент приходит в отделение с этой цифрой, а банк получает жалобу.

Что важно знать?

Полностью убрать галлюцинации нельзя, но риск можно сильно снизить. Самый рабочий способ: подключить модель к проверенной базе знаний через RAG, чтобы она отвечала по документам компании, а не по памяти, и требовать от неё ссылку на источник. Для ответов с юридическими и финансовыми последствиями добавляют проверку человеком.

Галлюцинацию не стоит путать с устаревшими данными или ошибкой в расчётах. Это отдельный эффект: модель создаёт то, чего не было в обучающих данных.