Галлюцинация ИИ
Галлюцинация — уверенно поданный, но выдуманный ответ: несуществующая цитата, ссылка, статья или цифра. Это не сбой, а прямое следствие того, как устроена модель: она предсказывает правдоподобное продолжение, а не проверяет факт.
Почему это происходит
Модель обучена продолжать текст правдоподобно. У неё нет отдельного механизма, который отличал бы «я это знаю» от «так обычно бывает написано». На вопрос о несуществующей статье она выдаёт то, как выглядела бы ссылка на такую статью.
Чаще всего это случается там, где данных было мало: узкие темы, точные цифры, имена, даты, конкретные ссылки. И почти никогда — там, где нужный текст лежит прямо в запросе.
Опаснее всего то, что тон ответа не меняется. Выдуманная ссылка подаётся с той же уверенностью, что и верная, поэтому по самому тексту отличить их невозможно.
Как снизить риск
- Дайте источник в запросеКогда нужный текст перед моделью, выдумывать нечего. Это самый надёжный приём, и на нём построен RAG.
- Просите цитату, а не пересказТребование привести дословный фрагмент из данного текста резко сокращает пространство для выдумки.
- Разрешите ответить «не знаю»Прямое указание отвечать «нет данных» вместо догадки заметно меняет поведение модели.
- Проверяйте всё, что можно проверитьСсылки открывайте, цифры сверяйте с первоисточником, цитаты ищите в оригинале. Особенно если они выглядят убедительно.