幻觉
幻觉是指 AI 模型信心十足地给出的虚假或编造的陈述。
语言模型生成的是看似合理的文本,而不是去查证事实,因此可能编造姓名、数字、引文和出处。在冷门话题、较长的输出中,以及问题本身没有好答案时,幻觉更容易出现。语音识别模型也可能产生幻觉,写出根本没有说过的词;OpenAI 表示 Whisper 可能出现这种情况。
你可以通过给模型提供参考资料、要求它在不知道时直说、使用更强的推理模型,以及自己核实重要结论来减少幻觉,但这些办法都不能消除风险。
相关术语
- 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
- 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。