MTEB (benchmark de embeddings)

MTEB, el Massive Text Embedding Benchmark, puntúa los modelos de embeddings en muchas tareas como búsqueda, clasificación y agrupamiento, y su leaderboard público es una forma habitual de compararlos.

  • Uso de modelos
  • Actualización

MTEB se presentó en un artículo de octubre de 2022. La versión original abarcaba 8 tipos de tareas, 58 conjuntos de datos y 112 idiomas, y el benchmark se ha ampliado desde entonces. Un modelo obtiene una puntuación por tarea y una media, y el código abierto y el leaderboard público permiten a cualquiera comparar modelos.

Las puntuaciones de las fichas de modelo suelen ser autodeclaradas, y una media alta no convierte a un modelo en el mejor para tus datos. Los modelos pueden estar afinados hacia los conjuntos de prueba públicos, y tus documentos pueden estar en otro idioma o dominio. Crea un pequeño conjunto de prueba con preguntas reales y los pasajes que las responden, y mide con qué frecuencia cada modelo encuentra el pasaje correcto.

Términos relacionados

  • Modelo de embeddings Un modelo de embeddings convierte texto, imágenes u otros datos en una lista de números que captura su significado, de modo que los elementos parecidos acaban cerca unos de otros.
  • Benchmark (prueba de referencia) Un benchmark es una prueba estandarizada para comparar modelos, como un conjunto de preguntas de matemáticas, programación o conocimiento; las puntuaciones son útiles pero fáciles de sobreinterpretar.
  • Generación aumentada por recuperación (RAG) La generación aumentada por recuperación permite que un modelo responda a partir de tus propios documentos recuperando los pasajes relevantes y añadiéndolos al prompt.

Todos los términos