
Строительство
Применение ИИ в строительстве: восемь процессов, где эффект можно измерить
[читать статью]
Галлюцинация ИИ — это ситуация, когда модель выдаёт уверенный, гладкий, но неверный ответ. Она может назвать несуществующий закон, придумать цитату или привести цифры, которых нет ни в одном источнике. Проще говоря, модель не знает факты, а подбирает самое правдоподобное продолжение текста. Если подходящих данных нет, она всё равно достроит ответ, и по тону его не отличить от правды. Чаще всего это случается в узких темах, по которым у модели мало данных, и в вопросах о свежих событиях. Опасна именно уверенность: человек без проверки склонен верить такому ответу и передавать его дальше.
Тот, кто понимает, откуда берутся выдуманные ответы, может заранее выстроить защиту.
Чат-боты поддержки, юридические и медицинские ассистенты, генерация отчётов и справок, поиск по документам.
Пример: банковский чат-бот на основе языковой модели уверенно называет клиенту ставку по вкладу, которой в линейке банка нет. Клиент приходит в отделение с этой цифрой, а банк получает жалобу.
Полностью убрать галлюцинации нельзя, но риск можно сильно снизить. Самый рабочий способ: подключить модель к проверенной базе знаний через RAG, чтобы она отвечала по документам компании, а не по памяти, и требовать от неё ссылку на источник. Для ответов с юридическими и финансовыми последствиями добавляют проверку человеком.
Галлюцинацию не стоит путать с устаревшими данными или ошибкой в расчётах. Это отдельный эффект: модель создаёт то, чего не было в обучающих данных.