MTEB (Embedding-Benchmark)
MTEB, das Massive Text Embedding Benchmark, bewertet Embedding-Modelle in vielen Aufgaben wie Suche, Klassifikation und Clustering, und seine öffentliche Rangliste ist eine gängige Art, sie zu vergleichen.
MTEB wurde in einem Paper vom Oktober 2022 vorgestellt. Die ursprüngliche Version umfasste 8 Aufgabentypen, 58 Datensätze und 112 Sprachen, und der Benchmark wurde seitdem erweitert. Ein Modell erhält einen Score pro Aufgabe und einen Durchschnitt, und der Open-Source-Code und die öffentliche Rangliste ermöglichen es jedem, Modelle zu vergleichen.
Scores in Modellkarten sind meist selbst gemeldet, und ein hoher Durchschnitt macht ein Modell nicht zum besten für Ihre Daten. Modelle können auf öffentliche Testmengen hin optimiert sein, und Ihre Dokumente sind vielleicht in einer anderen Sprache oder Domäne. Stellen Sie eine kleine Testmenge aus echten Fragen und den Passagen, die sie beantworten, zusammen und messen Sie, wie oft jedes Modell die richtige Passage findet.
Verwandte Begriffe
- Embedding-Modell Ein Embedding-Modell verwandelt Text, Bilder oder andere Daten in eine Liste von Zahlen, die ihre Bedeutung erfasst, sodass ähnliche Elemente nahe beieinander landen.
- Benchmark Ein Benchmark ist ein standardisierter Test zum Vergleich von Modellen, etwa ein Satz Mathe-, Coding- oder Wissensfragen; die Scores sind nützlich, aber leicht überzuinterpretieren.
- Retrieval-Augmented Generation (RAG) Retrieval-Augmented Generation ermöglicht einem Modell, aus Ihren eigenen Dokumenten zu antworten, indem es die passenden Passagen abruft und in den Prompt einfügt.