套娃嵌入(Matryoshka embeddings)

套娃嵌入在训练时就让向量的前半部分也能单独使用,所以你可以把向量截短,以节省存储空间和搜索时间。

  • 模型与架构
  • 更新于

普通的嵌入向量长度固定,例如 1024 个数字,每个数字都不可缺少。用套娃表示学习(Matryoshka representation learning)训练的模型,会把最有用的信息放进最前面的数字里,就像一套套娃。你可以只保留前 256 个或前 128 个数字,损失一点准确率,向量索引就缩小好几倍。

EmbeddingGemma 2、Granite Embedding R2 和 Jina Embeddings v5 的模型卡都介绍了套娃训练或降维,Qwen3-Embedding 则允许你选择向量长度。请只使用模型训练时支持的长度,并在截短之后重新测试检索质量,因为损失多少取决于你的数据。

相关术语

  • 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
  • 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
  • 重排序模型(Reranker) 重排序模型把问题和每条搜索结果放在一起阅读,对一小批结果重新打分,比单用嵌入更准确,但更慢。

继续阅读

全部术语