如何选择开源嵌入模型:搜索与 RAG 选型指南

按语言、输入长度、模态、规模和许可证挑选开放嵌入模型,并对比 BGE-M3、Qwen3-Embedding、EmbeddingGemma 2、Granite Embedding R2 等。

  • 进阶
  • 阅读约 12 分钟
  • 发布于
  • 更新于

简短回答。 选嵌入模型要看你检索的是什么,而不是排行榜名次。多语言文本,BGE-M3(MIT)和 Qwen3-Embedding(Apache 2.0)是稳妥的默认选择,CPU 和小型服务器适合 Granite Embedding R2,图像和视频则用 EmbeddingGemma 2 或 Qwen3-VL-Embedding,用文本查询来搜文档页面图像则用 Nemotron 3.5 Embed。先看许可证,用几百条真实查询测试两三个模型,并记住:以后换模型就意味着全部重建索引。

嵌入模型做什么

嵌入模型把文本(较新的模型还包括图像、视频和音频)转换成一串数字,让相似的内容彼此靠近。你把文档嵌入一次,再嵌入每个问题,然后返回最近的文档。它是检索增强生成中负责检索的那一半。

这个选择比规模看起来更重要,因为很难撤销。不同模型的向量位于不同的空间,换一个新模型就需要对数据整体重建索引。所以现在就要谨慎选择,也可以看看嵌入模型榜单里我们收录的所有模型。

候选清单

模型 规模 许可证 输入上限 覆盖范围
BGE-M3 568M MIT 8192 token 100 多种语言;稠密、稀疏和多向量检索
Qwen3-Embedding 0.6B、4B、8B Apache 2.0 32K token 100 多种语言和代码;向量长度可调
EmbeddingGemma 2 270M 到 740M Apache 2.0 8192 token 文本、代码、图像、视频和音频放进同一空间
Qwen3-VL-Embedding 2B、8B Apache 2.0 32K token 文本、图像、截图和视频;30 多种语言
Nemotron 3.5 Embed 1B、8B OpenMDW-1.1 32K token 用文本查询去搜文本和文档页面图像;配有 8B 重排序模型
Granite Embedding R2 47M 到 311M Apache 2.0 8K 或 32K token 英文,或 52 种重点语言加代码
voyage-4-nano 346M Apache 2.0 32000 token(模型卡) 多语言;向量与托管的 Voyage 4 模型共用空间
Harrier OSS v1 270M、0.6B、27B MIT 32768 token 列出 42 种语言;微软的小规格和大规格
pplx-embed 0.6B 到 9B MIT(有一张卡未写明) 32K token(v1) 稠密、上下文分块和后期交互三类模型;v2 还支持图像
Giga-Embeddings 480M、3B、10B-A1.8B MIT 8192 位置(配置文件) 俄语和英语;Sber 自己公布的 MTEB 俄语分数
Jina Embeddings v5 239M、677M CC BY-NC 8192 或 32768 token small 模型支持 119 种以上语言
Jina Embeddings v5 Omni 1B nano、1.6B small CC BY-NC 8192 或 32768 token 文本、图像、视频和音频放进同一空间;文本向量与 v5 文本模型一致

MTEB 等基准上的分数大多由开发者自己公布,也很容易针对性优化,所以我们没有把它们放进表格。

决定选择的五个问题

  1. 你要检索什么? 只有文本和代码,还是也包括图像、截图、视频和音频?图片和图文混排的文档用 EmbeddingGemma 2 或 Qwen3-VL-Embedding;扫描件、幻灯片和带表格图表的报告,Nemotron 3.5 Embed 可以直接搜索页面图像,省去 OCR,不过它的查询必须是文本,pplx-embed v2 也支持图像,用后期交互打分,为每个 token 保存一个小向量,Jina Embeddings v5 Omni 则把文本、图像、视频和音频放进同一个空间;纯文本的话,纯文本模型更轻量。
  2. 用哪些语言? BGE-M3 和 Qwen3-Embedding 都列出 100 多种语言。Granite Embedding R2 在 52 种重点语言和代码上表现最好,其他语言只靠编码器的预训练。Qwen3-VL-Embedding 覆盖的语言更少,为 30 多种,Nemotron 3.5 Embed 的模型卡则声称在文本的 34 种语言和图像的 18 种语言上做过评估。Harrier OSS v1 列出 42 种语言,Giga-Embeddings 只记录了俄语和英语,处理俄语时应该优先测试它。
  3. 你的段落有多长? Qwen3-Embedding、Qwen3-VL-Embedding、Nemotron 3.5 Embed、Harrier OSS v1、pplx-embed v1 和多语言的 Granite 模型最长能读约 32K token。BGE-M3、EmbeddingGemma 2 和 Giga-Embeddings(按其配置文件)的上限是 8192,所以长文档要切成块。
  4. 在哪里运行? 手机或只有 CPU 的服务器适合 EmbeddingGemma 2、小规格的 Granite 模型或 Harrier 的 270M 模型,它的 BF16 文件为 0.54 GB。GPU 服务器想要更高的准确率,可以运行 Qwen 的 4B 和 8B 模型,而 Harrier 的 27B 模型是一个 54 GB 的文件。
  5. 许可证允许什么? Jina Embeddings v5 由 Qwen3-Embedding-4B 蒸馏而来,采用 CC BY-NC,Omni 模型的许可证相同,所以除非另行获得许可或使用 Elastic 的托管服务,否则两者都不能用于商业产品。其他条款可以看AI 许可证详解。

最后一步加上重排序模型

用嵌入做搜索很快,但可能漏掉细微的匹配。重排序模型会把问题和每个候选放在一起阅读,给一份短名单重新打分。常见做法是先用嵌入模型取出前 50 或 100 个候选,再让重排序模型排序。重排序模型是单独的模型,有自己的许可证,而且每次查询都会增加延迟,所以候选名单要保持简短。重排序模型榜单收录了我们追踪的所有重排序模型,主要的选择如下:

模型 规模 许可证 输入 说明
Qwen3-Reranker 0.6B、4B、8B Apache 2.0 文本,32K token 100 多种语言和代码;可按指令调整
BGE Reranker v2 m3 568M Apache 2.0 文本,8K 位置(配置文件) 多语言;30 天内约 1470 万次下载
Jina Reranker v3.5 0.6B CC BY-NC 文本,最长 131K token(模型卡) 一次处理整个候选列表
Qwen3-VL-Reranker 2B、8B Apache 2.0 文本、图像、截图和视频,32K token 接在 Qwen3-VL-Embedding 之后
Nemotron 3.5 Rerank 8B OpenMDW-1.1 文本和页面图像,32K token 接在 Nemotron 3.5 Embed 之后

重排序模型只看到查询和每个候选,看不到第一阶段的向量,所以可以把它们与任何嵌入模型搭配,例如用 BGE-M3 检索、用 Qwen3-Reranker 排序。请用自己的查询测试这个组合,分别测加和不加重排序的情况,因为这些模型公布的分数全都来自开发者自己。

BGE-M3 提供了在一个模型内提高召回率的另一条路:它同时给出稠密、稀疏和多向量分数,可以组合起来做混合检索。

缩短向量

向量的存储随维度增加而增长。一百万个块、每个 1024 维、32 位浮点数,在算上索引开销之前约占 4 GB,如果是 256 维则约 1 GB。套娃(Matryoshka)嵌入经过训练,开头的那些数字单独也能用,所以你可以把向量截短。EmbeddingGemma 2 能把 768 维缩短到 512、256 或 128 维,Qwen3-Embedding 允许自选向量长度,Nemotron 3.5 Embed 可以把向量截短到 1024 或 512 维并重新归一化,pplx-embed 支持套娃截断,原生输出 int8 向量并提供二值选项,voyage-4-nano 可以从 2048 维缩到 256 维,并支持 int8 或二值输出,Jina Embeddings v5 则介绍了套娃截断和二值量化。只使用模型训练时涵盖的长度,截断之后要重新测试检索质量。

遵循模型的输入格式

嵌入模型往往要求特定的输入格式,忽略它会降低质量:

  • Qwen3-Embedding 能理解指令。你要在查询前加一段简短的任务描述,Qwen 建议即使面对其他语言,也用英文来写。
  • EmbeddingGemma 2 的文本输入最好加上推荐的任务前缀,图像、视频和音频则不需要。
  • Harrier OSS v1 和 Giga-Embeddings 都要求在查询前加“Instruct: … Query: …”前缀,文档则不加。Harrier 取最后一个 token 作为向量,Giga-Embeddings 则必须用均值池化,所以请照着各自的模型卡设置池化方式。
  • voyage-4-nano 对查询和文档使用不同的提示,Jina Embeddings v5 Omni 则对每一种输入都使用“Query: ”和“Document: ”前缀。
  • pplx-embed v1 不需要前缀,它的 int8 向量没有归一化,请用余弦相似度比较。
  • Jina Embeddings v5 自带检索、文本匹配、聚类和分类四个任务适配器,按用途选择即可。

每个块都要保持在模型的输入上限之内。按标题或段落切分能让语义保持完整,而输出 Markdown 的 OCR 模型让扫描文档的切分更容易。

用你自己的查询测试

收集 100 到 300 个真实问题,为每个问题标出应该被找到的段落。让每个候选模型都跑一遍,统计正确段落出现在前 5 名的比例。对比两三个模型,分别测试加和不加重排序的情况,并人工查看失败的例子。如何自己评估 AI 模型更详细地介绍了方法。

准备好部署时,Text Embeddings Inference 可以在 HTTP API 后面运行开放的嵌入和重排序模型,它只服务文本模型。Nemotron 3.5 Embed 的模型卡给出了用 Transformers、Sentence Transformers 和 vLLM 的用法。请把模型名称和版本和索引放在一起记录,这样当更好的模型出现时,你就确切知道需要重建什么。

常见问题

最受欢迎的开源嵌入模型是哪个?
截至 2026 年 11 月 11 日的 30 天内,BGE-M3 在 Hugging Face 上约有 2900 万次下载,远超本站收录的其他嵌入模型。受欢迎说明它容易上手,并不等于它最适合你的文档。
可以混用两个不同嵌入模型的向量吗?
不可以。每个模型都有自己的向量空间,不同模型的向量,甚至同一家族不同规格的向量,都无法比较。换模型就意味着把所有文档重新嵌入一遍。
做嵌入需要 GPU 吗?
小模型通常不需要。Granite Embedding R2 最小只有 47M 参数,小到 CPU 就能运行,EmbeddingGemma 2 则是为在设备端运行而设计的。按我们的估算,0.6B 的模型在 BF16 下约需 1.4 GB 内存。
这些嵌入模型能用于商业产品吗?
大多数可以。BGE-M3、Harrier OSS v1 和 Giga-Embeddings 采用 MIT,我们查看过的 pplx-embed 模型卡也是 MIT,只有一张没有写明许可证。Qwen3-Embedding、EmbeddingGemma 2、Qwen3-VL-Embedding、Granite Embedding R2 和 voyage-4-nano 采用 Apache 2.0。Nemotron 3.5 Embed 采用宽松的 OpenMDW-1.1。Jina Embeddings v5 和 v5 Omni 采用 CC BY-NC,只能非商业免费使用。
还需要再加一个重排序模型吗?
不是必须的。重排序模型会把问题和每条结果放在一起阅读,再给前几名结果重新打分,更准确,但每次查询都会增加延迟。当第一阶段的结果漏掉本该找到的段落时,再考虑加上它。Qwen3-Reranker 和 BGE Reranker v2 m3 采用 Apache 2.0,Nemotron 3.5 Rerank 采用 OpenMDW-1.1,Jina Reranker v3.5 只能非商业使用。

本文关键术语

  • 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
  • 套娃嵌入(Matryoshka embeddings) 套娃嵌入在训练时就让向量的前半部分也能单独使用,所以你可以把向量截短,以节省存储空间和搜索时间。
  • MTEB(嵌入模型基准) MTEB 即大规模文本嵌入基准(Massive Text Embedding Benchmark),在搜索、分类和聚类等众多任务上给嵌入模型打分,其公开排行榜是常用的比较方式。
  • 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
  • 重排序模型(Reranker) 重排序模型把问题和每条搜索结果放在一起阅读,对一小批结果重新打分,比单用嵌入更准确,但更慢。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
BGE-M3 BAAI 568M 8K MIT (宽松) 2.61 GB 笔记本或手机
Qwen3-Embedding Alibaba Qwen 600M – 7.57B 32K Apache 2.0 (宽松) 1.38 GB 笔记本或手机
EmbeddingGemma 2 Google DeepMind 270M – 740M 8K Apache 2.0 (宽松) 0.621 GB 笔记本或手机
Qwen3-VL-Embedding Alibaba Qwen 2.13B – 8.14B 32K Apache 2.0 (宽松) 4.9 GB 笔记本或手机
Nemotron 3.5 Embed NVIDIA 1.55B – 8.38B 32K OpenMDW-1.1 (宽松) 1.46 GB 笔记本或手机
Granite Embedding R2 IBM 48M – 312M 32K Apache 2.0 (宽松) 0.115 GB 笔记本或手机
Harrier OSS v1 Microsoft 270M – 27B 32K MIT (宽松) 0.621 GB 笔记本或手机
pplx-embed Perplexity 590M – 8.4B 32K MIT (宽松) 2.76 GB 笔记本或手机
Giga-Embeddings Sber (GigaChat) 480M – 10.5B 激活 1.8B 8K MIT (宽松) 1.13 GB 笔记本或手机
voyage-4-nano Voyage AI 346M 32K Apache 2.0 (宽松) 0.425 GB 笔记本或手机
Jina Embeddings v5 Jina AI 239M – 677M 32K CC BY-NC (非商用) 0.552 GB 笔记本或手机
Jina Embeddings v5 Omni Jina AI 990M – 1.63B 32K CC BY-NC (非商用) 2.27 GB 笔记本或手机
Qwen3-Reranker Alibaba Qwen 596M – 8.19B 32K Apache 2.0 (宽松) 1.37 GB 笔记本或手机
BGE Reranker v2 m3 BAAI 568M 8K Apache 2.0 (宽松) 2.61 GB 笔记本或手机
Jina Reranker v3.5 Jina AI 597M 128K CC BY-NC (非商用) 0.46 GB 笔记本或手机
Qwen3-VL-Reranker Alibaba Qwen 2.13B – 8.77B 32K Apache 2.0 (宽松) 4.9 GB 笔记本或手机
Nemotron 3.5 Rerank 8B NVIDIA 8.38B 32K OpenMDW-1.1 (宽松) 19 GB 游戏显卡