Matryoshka-Embeddings

Matryoshka-Embeddings werden so trainiert, dass der vordere Teil des Vektors für sich allein funktioniert, sodass Sie den Vektor kürzen können, um Speicher und Suchzeit zu sparen.

  • Modelle und Architektur
  • Aktualisiert

Ein normaler Embedding-Vektor hat eine feste Länge, zum Beispiel 1.024 Zahlen, und jede wird benötigt. Ein Modell, das mit Matryoshka-Repräsentationslernen trainiert wurde, packt die nützlichsten Informationen in die ersten Zahlen, wie ineinander schachtelbare Puppen. Sie können nur die ersten 256 oder 128 Zahlen behalten, etwas Genauigkeit einbüßen und den Vektorindex um ein Mehrfaches verkleinern.

Die Model Cards von EmbeddingGemma 2, Granite Embedding R2 und Jina Embeddings v5 beschreiben Matryoshka-Training oder Dimensionsreduktion, und Qwen3-Embedding lässt die Vektorlänge wählen. Verwenden Sie nur die Längen, für die das Modell trainiert wurde, und testen Sie die Retrieval-Qualität nach dem Kürzen erneut, denn der Verlust hängt von Ihren Daten ab.

Verwandte Begriffe

  • Embedding-Modell Ein Embedding-Modell verwandelt Text, Bilder oder andere Daten in eine Liste von Zahlen, die ihre Bedeutung erfasst, sodass ähnliche Elemente nahe beieinander landen.
  • Retrieval-Augmented Generation (RAG) Retrieval-Augmented Generation ermöglicht einem Modell, aus Ihren eigenen Dokumenten zu antworten, indem es die passenden Passagen abruft und in den Prompt einfügt.
  • Reranker Ein Reranker bewertet eine kurze Liste von Suchergebnissen neu, indem er die Frage und jedes Ergebnis zusammen liest – langsamer, aber genauer als Embeddings allein.

Alle Begriffe