MTEB(嵌入模型基准)

MTEB 即大规模文本嵌入基准(Massive Text Embedding Benchmark),在搜索、分类和聚类等众多任务上给嵌入模型打分,其公开排行榜是常用的比较方式。

  • 使用模型
  • 更新于

MTEB 于 2022 年 10 月的一篇论文中提出。最初的版本涵盖 8 类任务、58 个数据集和 112 种语言,此后基准又有扩展。模型会得到每项任务的分数和一个平均分,开源的代码和公开排行榜让任何人都能比较模型。

模型卡中的分数通常是自测的,平均分高并不意味着它最适合你的数据。模型可能针对公开测试集做过优化,而你的文档可能属于另一种语言或领域。请自己建一个小测试集,包含真实的问题和能回答它们的段落,然后统计每个模型找到正确段落的频率。

相关术语

  • 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
  • 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
  • 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。

继续阅读

全部术语