Embeddings matriochka
Les embeddings matriochka sont entraînés pour que la première partie du vecteur fonctionne seule, ce qui permet de raccourcir le vecteur pour économiser stockage et temps de recherche.
Un vecteur d'embeddings normal a une longueur fixe, par exemple 1 024 nombres, et chacun est nécessaire. Un modèle entraîné par apprentissage de représentations matriochka concentre les informations les plus utiles dans les premiers nombres, comme des poupées gigognes. Vous pouvez ne garder que les 256 ou 128 premiers nombres, perdre un peu de précision et rendre l'index de vecteurs plusieurs fois plus petit.
Les model cards d'EmbeddingGemma 2, de Granite Embedding R2 et de Jina Embeddings v5 décrivent un entraînement matriochka ou une réduction de dimensions, et Qwen3-Embedding laisse choisir la longueur du vecteur. N'utilisez que les longueurs pour lesquelles le modèle a été entraîné, et retestez la qualité de la récupération après troncature, car la perte dépend de vos données.
Termes associés
- Modèle d'embeddings Un modèle d'embeddings transforme du texte, des images ou d'autres données en une liste de nombres qui capture leur sens, si bien que les éléments semblables se retrouvent proches les uns des autres.
- Génération augmentée par récupération (RAG) La génération augmentée par récupération permet à un modèle de répondre à partir de vos propres documents en récupérant les passages pertinents et en les ajoutant au prompt.
- Reranker Un reranker re-note une liste courte de résultats de recherche en lisant la question et chaque résultat ensemble, ce qui est plus lent mais plus précis que les seuls embeddings.