幻觉

幻觉是指 AI 模型信心十足地给出的虚假或编造的陈述。

  • 使用模型
  • 更新于

语言模型生成的是看似合理的文本,而不是去查证事实,因此可能编造姓名、数字、引文和出处。在冷门话题、较长的输出中,以及问题本身没有好答案时,幻觉更容易出现。语音识别模型也可能产生幻觉,写出根本没有说过的词;OpenAI 表示 Whisper 可能出现这种情况。

你可以通过给模型提供参考资料、要求它在不知道时直说、使用更强的推理模型,以及自己核实重要结论来减少幻觉,但这些办法都不能消除风险。

相关术语

  • 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
  • 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。

继续阅读

全部术语