Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation ermöglicht einem Modell, aus Ihren eigenen Dokumenten zu antworten, indem es die passenden Passagen abruft und in den Prompt einfügt.

  • Modelle verwenden
  • Aktualisiert

Ein RAG-System zerlegt Ihre Dokumente in Chunks und speichert ihre Embeddings. Für jede Frage findet es die nächsten Chunks und übergibt sie einem Sprachmodell, das die Antwort schreibt. Das Modell muss nicht neu trainiert werden, und die Antwort kann auf die Quellpassagen verweisen.

RAG verringert Halluzinationen, beseitigt sie aber nicht. Das Modell kann Passagen weiterhin missverstehen oder ignorieren, und die Ergebnisse hängen stark von der Qualität des Embedding-Modells und davon ab, wie die Dokumente in Chunks zerlegt werden.

Verwandte Begriffe

  • Embedding-Modell Ein Embedding-Modell verwandelt Text, Bilder oder andere Daten in eine Liste von Zahlen, die ihre Bedeutung erfasst, sodass ähnliche Elemente nahe beieinander landen.
  • Halluzination Eine Halluzination ist eine selbstbewusst geäußerte, aber falsche oder erfundene Aussage eines KI-Modells.
  • Kontextfenster Das Kontextfenster ist die maximale Textmenge, gemessen in Tokens, die ein Modell auf einmal berücksichtigen kann, einschließlich Ihres Prompts und seiner eigenen Antwort.
  • Agenten-Gedächtnis (Agent memory) Ein Agenten-Gedächtnis ermöglicht es einem KI-Agenten, Fakten, Präferenzen und frühere Erfahrungen über Sitzungen hinweg zu behalten, statt jedes Mal mit leerem Kontext zu starten.

Alle Begriffe