マトリョーシカ埋め込み(Matryoshka embeddings)

マトリョーシカ埋め込みは、ベクトルの先頭部分だけでも単独で機能するように学習されているため、ベクトルを短く切って保存容量と検索時間を節約できます。

  • モデルとアーキテクチャ
  • 更新日

普通の埋め込みベクトルは長さが固定で、たとえば 1024 個の数字すべてが必要です。マトリョーシカ表現学習で学習したモデルは、最も有用な情報を先頭の数字に詰め込みます。入れ子人形のように。先頭の 256 個や 128 個だけを残して、わずかな精度の低下と引き換えに、ベクトルインデックスを数分の一に縮小できます。

EmbeddingGemma 2、Granite Embedding R2、Jina Embeddings v5 のモデルカードはマトリョーシカ学習や次元削減について述べており、Qwen3-Embedding はベクトル長を選べます。使ってよいのはモデルが学習済みの長さだけにし、切り詰めた後は検索品質を再テストしてください。損失の程度はデータによって変わります。

関連用語

  • 埋め込みモデル(Embedding model) 埋め込みモデルはテキストや画像などのデータを、意味を表す数値の列に変換します。これにより、意味の近い項目どうしが近い位置に並びます。
  • 検索拡張生成(RAG) 検索拡張生成(RAG)は、関連する段落を検索してプロンプトに加えることで、モデルがあなた自身の文書に基づいて回答できるようにする仕組みです。
  • リランカー(Reranker) リランカーは、質問と各検索結果を一緒に読んで、検索結果の短いリストに再スコアを付けます。埋め込みだけより遅いですが、より正確です。

すべての用語