Hallucination
Une hallucination est une affirmation fausse ou inventée qu'un modèle d'IA avance avec assurance.
Les modèles de langage génèrent du texte plausible au lieu de vérifier les faits, et peuvent donc inventer des noms, des chiffres, des citations et des références. Les hallucinations sont plus probables sur des sujets obscurs, dans les sorties longues et quand la question n'a pas de bonne réponse. Les modèles de reconnaissance vocale peuvent eux aussi halluciner et écrire des mots jamais prononcés ; OpenAI indique que cela peut arriver avec Whisper.
Vous pouvez réduire les hallucinations en donnant au modèle des sources sur lesquelles travailler, en lui demandant de dire quand il ne sait pas, en utilisant un modèle de raisonnement plus puissant et en vérifiant vous-même les affirmations importantes. Aucune de ces mesures n'élimine le risque.
Termes associés
- Génération augmentée par récupération (RAG) La génération augmentée par récupération permet à un modèle de répondre à partir de vos propres documents en récupérant les passages pertinents et en les ajoutant au prompt.
- Benchmark (test de référence) Un benchmark est un test standardisé servant à comparer des modèles, comme une série de questions de mathématiques, de code ou de connaissances ; les scores sont utiles mais faciles à surestimer.