MTEB (benchmark d'embeddings)

MTEB, le Massive Text Embedding Benchmark, note les modèles d'embeddings sur de nombreuses tâches comme la recherche, la classification et le clustering, et son classement public est un moyen courant de les comparer.

  • Utiliser les modèles
  • Mis à jour le

MTEB a été présenté dans un article d'octobre 2022. La version originale couvrait 8 types de tâches, 58 jeux de données et 112 langues, et le benchmark a été étendu depuis. Un modèle obtient un score par tâche et une moyenne, et le code open source et le classement public permettent à chacun de comparer les modèles.

Les scores des fiches de modèles sont généralement auto-déclarés, et une moyenne élevée ne fait pas d'un modèle le meilleur pour vos données. Les modèles peuvent être ajustés sur les jeux de test publics, et vos documents peuvent être dans une autre langue ou un autre domaine. Constituez un petit jeu de test avec de vraies questions et les passages qui y répondent, puis mesurez la fréquence à laquelle chaque modèle trouve le bon passage.

Termes associés

  • Modèle d'embeddings Un modèle d'embeddings transforme du texte, des images ou d'autres données en une liste de nombres qui capture leur sens, si bien que les éléments semblables se retrouvent proches les uns des autres.
  • Benchmark (test de référence) Un benchmark est un test standardisé servant à comparer des modèles, comme une série de questions de mathématiques, de code ou de connaissances ; les scores sont utiles mais faciles à surestimer.
  • Génération augmentée par récupération (RAG) La génération augmentée par récupération permet à un modèle de répondre à partir de vos propres documents en récupérant les passages pertinents et en les ajoutant au prompt.

Tous les termes