할루시네이션(Hallucination)
할루시네이션은 AI 모델이 확신에 찬 듯 내놓는 거짓 또는 지어낸 진술입니다.
언어 모델은 사실을 찾아보는 대신 그럴듯한 텍스트를 생성하기 때문에 이름, 숫자, 인용구, 출처를 지어낼 수 있습니다. 생소한 주제, 긴 출력, 애초에 좋은 답이 없는 질문에서 할루시네이션이 더 잘 일어납니다. 음성 인식 모델도 할루시네이션을 일으켜 말하지 않은 단어를 적어 넣을 수 있는데, OpenAI는 Whisper에서 이런 일이 생길 수 있다고 밝혔습니다.
모델에 근거 자료를 제공하고, 모를 때는 모른다고 말하게 하고, 더 강한 추론 모델을 쓰고, 중요한 주장은 직접 확인하면 할루시네이션을 줄일 수 있습니다. 다만 어떤 방법도 위험을 없애 주지는 않습니다.
관련 용어
- 검색 증강 생성(RAG) 검색 증강 생성(RAG)은 관련 문단을 검색해 프롬프트에 추가함으로써, 모델이 여러분 자신의 문서를 근거로 답하게 만듭니다.
- 벤치마크(Benchmark) 벤치마크는 모델을 비교하기 위한 표준화된 테스트로, 수학, 코딩, 지식 문제 세트 등이 사용됩니다. 점수는 참고가 되지만 과대해석하기 쉽습니다.