ハルシネーション(Hallucination)
ハルシネーションとは、AI モデルが自信たっぷりに述べる、誤りのある、あるいはでっち上げの主張のことです。
言語モデルは事実を調べるのではなく、もっともらしい文章を生成するため、名前、数値、引用、出典をでっち上げることがあります。ニッチな話題や長い出力、そもそも良い答えがない質問では、ハルシネーションが起きやすくなります。音声認識モデルにもハルシネーションは起こり、話されていない言葉を書き出すことがあります。OpenAI は Whisper でこの可能性があると述べています。
モデルに資料を持たせて根拠を与える、わからないときはそう言うよう求める、より強い推論モデルを使う、重要な主張は自分で確認する——こうした方法でハルシネーションを減らせますが、どれもリスクをなくせるわけではありません。
関連用語
- 検索拡張生成(RAG) 検索拡張生成(RAG)は、関連する段落を検索してプロンプトに加えることで、モデルがあなた自身の文書に基づいて回答できるようにする仕組みです。
- ベンチマーク(Benchmark) ベンチマークはモデルを比較するための標準化されたテストで、数学、コーディング、知識問題のセットなどが使われます。スコアは参考になりますが、読みすぎには注意が必要です。