MTEB (benchmark de embeddings)

O MTEB, o Massive Text Embedding Benchmark, pontua modelos de embeddings em muitas tarefas como busca, classificação e clustering, e seu leaderboard público é uma forma comum de compará-los.

  • Usando modelos
  • Atualizado

O MTEB foi apresentado em um artigo de outubro de 2022. A versão original cobria 8 tipos de tarefas, 58 conjuntos de dados e 112 idiomas, e o benchmark foi ampliado desde então. Um modelo recebe uma pontuação por tarefa e uma média, e o código aberto e o leaderboard público permitem que qualquer um compare modelos.

As pontuações nas fichas de modelo geralmente são autodeclaradas, e uma média alta não faz de um modelo o melhor para os seus dados. Modelos podem ser ajustados para os conjuntos de teste públicos, e seus documentos podem estar em outro idioma ou domínio. Monte um pequeno conjunto de teste com perguntas reais e os trechos que as respondem, e meça com que frequência cada modelo encontra o trecho certo.

Termos relacionados

  • Modelo de embeddings Um modelo de embeddings converte texto, imagens ou outros dados em uma lista de números que captura seu significado, de modo que itens semelhantes acabam próximos uns dos outros.
  • Benchmark (teste de referência) Um benchmark é um teste padronizado usado para comparar modelos, como um conjunto de questões de matemática, programação ou conhecimento; as pontuações são úteis, mas fáceis de superinterpretar.
  • Geração aumentada por recuperação (RAG) A geração aumentada por recuperação permite que um modelo responda com base nos seus próprios documentos recuperando os trechos relevantes e adicionando-os ao prompt.

Todos os termos