MTEB(埋め込みベンチマーク)

MTEB(Massive Text Embedding Benchmark、大規模テキスト埋め込みベンチマーク)は、検索、分類、クラスタリングなど多くのタスクで埋め込みモデルを採点するものであり、その公開リーダーボードはモデル比較の定番の手段です。

  • モデルの使い方
  • 更新日

MTEB は 2022 年 10 月の論文で発表されました。当初のバージョンは 8 種類のタスク、58 のデータセット、112 の言語を対象とし、その後もベンチマークは拡張されています。モデルはタスクごとのスコアと平均スコアを得られ、オープンソースのコードと公開リーダーボードにより、誰でもモデルを比較できます。

モデルカードのスコアは多くの場合自己申告であり、平均スコアが高くても、あなたのデータに最適とは限りません。モデルは公開テストセットに合わせて調整されていることがあり、あなたの文書は別の言語や分野のものかもしれません。実際の質問とそれに答える段落から小さなテストセットを作り、各モデルが正しい段落を見つけられる頻度を測ってください。

関連用語

  • 埋め込みモデル(Embedding model) 埋め込みモデルはテキストや画像などのデータを、意味を表す数値の列に変換します。これにより、意味の近い項目どうしが近い位置に並びます。
  • ベンチマーク(Benchmark) ベンチマークはモデルを比較するための標準化されたテストで、数学、コーディング、知識問題のセットなどが使われます。スコアは参考になりますが、読みすぎには注意が必要です。
  • 検索拡張生成(RAG) 検索拡張生成(RAG)は、関連する段落を検索してプロンプトに加えることで、モデルがあなた自身の文書に基づいて回答できるようにする仕組みです。

すべての用語