Галлюцинация
Галлюцинация — это уверенно звучащее, но ложное или выдуманное утверждение, выданное ИИ-моделью.
Языковые модели порождают правдоподобный текст вместо проверки фактов и потому могут выдумывать имена, числа, цитаты и ссылки на источники. Галлюцинации вероятнее на малоизвестных темах, в длинных ответах и когда у вопроса нет хорошего ответа. Модели распознавания речи тоже могут галлюцинировать, записывая слова, которые никто не произносил; OpenAI сообщает, что это бывает у Whisper.
Галлюцинации можно уменьшить: дать модели исходные материалы, просить её прямо говорить, когда она не знает, использовать более сильную рассуждающую модель и проверять важные утверждения самому. Но ни один из этих способов не устраняет риск.
Связанные термины
- Генерация, дополненная поиском (RAG) Генерация, дополненная поиском, позволяет модели отвечать на основе ваших собственных документов: она находит релевантные фрагменты и добавляет их в промпт.
- Бенчмарк (Benchmark) Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.