如何选择开源嵌入模型:搜索与 RAG 选型指南
按语言、输入长度、模态、规模和许可证挑选开放嵌入模型,并对比 BGE-M3、Qwen3-Embedding、EmbeddingGemma 2、Granite Embedding R2 等。
简短回答。 选嵌入模型要看你检索的是什么,而不是排行榜名次。多语言文本,BGE-M3(MIT)和 Qwen3-Embedding(Apache 2.0)是稳妥的默认选择,CPU 和小型服务器适合 Granite Embedding R2,图像和视频则用 EmbeddingGemma 2 或 Qwen3-VL-Embedding,用文本查询来搜文档页面图像则用 Nemotron 3.5 Embed。先看许可证,用几百条真实查询测试两三个模型,并记住:以后换模型就意味着全部重建索引。
嵌入模型做什么
嵌入模型把文本(较新的模型还包括图像、视频和音频)转换成一串数字,让相似的内容彼此靠近。你把文档嵌入一次,再嵌入每个问题,然后返回最近的文档。它是检索增强生成中负责检索的那一半。
这个选择比规模看起来更重要,因为很难撤销。不同模型的向量位于不同的空间,换一个新模型就需要对数据整体重建索引。所以现在就要谨慎选择,也可以看看嵌入模型榜单里我们收录的所有模型。
候选清单
| 模型 | 规模 | 许可证 | 输入上限 | 覆盖范围 |
|---|---|---|---|---|
| BGE-M3 | 568M | MIT | 8192 token | 100 多种语言;稠密、稀疏和多向量检索 |
| Qwen3-Embedding | 0.6B、4B、8B | Apache 2.0 | 32K token | 100 多种语言和代码;向量长度可调 |
| EmbeddingGemma 2 | 270M 到 740M | Apache 2.0 | 8192 token | 文本、代码、图像、视频和音频放进同一空间 |
| Qwen3-VL-Embedding | 2B、8B | Apache 2.0 | 32K token | 文本、图像、截图和视频;30 多种语言 |
| Nemotron 3.5 Embed | 1B、8B | OpenMDW-1.1 | 32K token | 用文本查询去搜文本和文档页面图像;配有 8B 重排序模型 |
| Granite Embedding R2 | 47M 到 311M | Apache 2.0 | 8K 或 32K token | 英文,或 52 种重点语言加代码 |
| voyage-4-nano | 346M | Apache 2.0 | 32000 token(模型卡) | 多语言;向量与托管的 Voyage 4 模型共用空间 |
| Harrier OSS v1 | 270M、0.6B、27B | MIT | 32768 token | 列出 42 种语言;微软的小规格和大规格 |
| pplx-embed | 0.6B 到 9B | MIT(有一张卡未写明) | 32K token(v1) | 稠密、上下文分块和后期交互三类模型;v2 还支持图像 |
| Giga-Embeddings | 480M、3B、10B-A1.8B | MIT | 8192 位置(配置文件) | 俄语和英语;Sber 自己公布的 MTEB 俄语分数 |
| Jina Embeddings v5 | 239M、677M | CC BY-NC | 8192 或 32768 token | small 模型支持 119 种以上语言 |
| Jina Embeddings v5 Omni | 1B nano、1.6B small | CC BY-NC | 8192 或 32768 token | 文本、图像、视频和音频放进同一空间;文本向量与 v5 文本模型一致 |
MTEB 等基准上的分数大多由开发者自己公布,也很容易针对性优化,所以我们没有把它们放进表格。
决定选择的五个问题
- 你要检索什么? 只有文本和代码,还是也包括图像、截图、视频和音频?图片和图文混排的文档用 EmbeddingGemma 2 或 Qwen3-VL-Embedding;扫描件、幻灯片和带表格图表的报告,Nemotron 3.5 Embed 可以直接搜索页面图像,省去 OCR,不过它的查询必须是文本,pplx-embed v2 也支持图像,用后期交互打分,为每个 token 保存一个小向量,Jina Embeddings v5 Omni 则把文本、图像、视频和音频放进同一个空间;纯文本的话,纯文本模型更轻量。
- 用哪些语言? BGE-M3 和 Qwen3-Embedding 都列出 100 多种语言。Granite Embedding R2 在 52 种重点语言和代码上表现最好,其他语言只靠编码器的预训练。Qwen3-VL-Embedding 覆盖的语言更少,为 30 多种,Nemotron 3.5 Embed 的模型卡则声称在文本的 34 种语言和图像的 18 种语言上做过评估。Harrier OSS v1 列出 42 种语言,Giga-Embeddings 只记录了俄语和英语,处理俄语时应该优先测试它。
- 你的段落有多长? Qwen3-Embedding、Qwen3-VL-Embedding、Nemotron 3.5 Embed、Harrier OSS v1、pplx-embed v1 和多语言的 Granite 模型最长能读约 32K token。BGE-M3、EmbeddingGemma 2 和 Giga-Embeddings(按其配置文件)的上限是 8192,所以长文档要切成块。
- 在哪里运行? 手机或只有 CPU 的服务器适合 EmbeddingGemma 2、小规格的 Granite 模型或 Harrier 的 270M 模型,它的 BF16 文件为 0.54 GB。GPU 服务器想要更高的准确率,可以运行 Qwen 的 4B 和 8B 模型,而 Harrier 的 27B 模型是一个 54 GB 的文件。
- 许可证允许什么? Jina Embeddings v5 由 Qwen3-Embedding-4B 蒸馏而来,采用 CC BY-NC,Omni 模型的许可证相同,所以除非另行获得许可或使用 Elastic 的托管服务,否则两者都不能用于商业产品。其他条款可以看AI 许可证详解。
最后一步加上重排序模型
用嵌入做搜索很快,但可能漏掉细微的匹配。重排序模型会把问题和每个候选放在一起阅读,给一份短名单重新打分。常见做法是先用嵌入模型取出前 50 或 100 个候选,再让重排序模型排序。重排序模型是单独的模型,有自己的许可证,而且每次查询都会增加延迟,所以候选名单要保持简短。重排序模型榜单收录了我们追踪的所有重排序模型,主要的选择如下:
| 模型 | 规模 | 许可证 | 输入 | 说明 |
|---|---|---|---|---|
| Qwen3-Reranker | 0.6B、4B、8B | Apache 2.0 | 文本,32K token | 100 多种语言和代码;可按指令调整 |
| BGE Reranker v2 m3 | 568M | Apache 2.0 | 文本,8K 位置(配置文件) | 多语言;30 天内约 1470 万次下载 |
| Jina Reranker v3.5 | 0.6B | CC BY-NC | 文本,最长 131K token(模型卡) | 一次处理整个候选列表 |
| Qwen3-VL-Reranker | 2B、8B | Apache 2.0 | 文本、图像、截图和视频,32K token | 接在 Qwen3-VL-Embedding 之后 |
| Nemotron 3.5 Rerank | 8B | OpenMDW-1.1 | 文本和页面图像,32K token | 接在 Nemotron 3.5 Embed 之后 |
重排序模型只看到查询和每个候选,看不到第一阶段的向量,所以可以把它们与任何嵌入模型搭配,例如用 BGE-M3 检索、用 Qwen3-Reranker 排序。请用自己的查询测试这个组合,分别测加和不加重排序的情况,因为这些模型公布的分数全都来自开发者自己。
BGE-M3 提供了在一个模型内提高召回率的另一条路:它同时给出稠密、稀疏和多向量分数,可以组合起来做混合检索。
缩短向量
向量的存储随维度增加而增长。一百万个块、每个 1024 维、32 位浮点数,在算上索引开销之前约占 4 GB,如果是 256 维则约 1 GB。套娃(Matryoshka)嵌入经过训练,开头的那些数字单独也能用,所以你可以把向量截短。EmbeddingGemma 2 能把 768 维缩短到 512、256 或 128 维,Qwen3-Embedding 允许自选向量长度,Nemotron 3.5 Embed 可以把向量截短到 1024 或 512 维并重新归一化,pplx-embed 支持套娃截断,原生输出 int8 向量并提供二值选项,voyage-4-nano 可以从 2048 维缩到 256 维,并支持 int8 或二值输出,Jina Embeddings v5 则介绍了套娃截断和二值量化。只使用模型训练时涵盖的长度,截断之后要重新测试检索质量。
遵循模型的输入格式
嵌入模型往往要求特定的输入格式,忽略它会降低质量:
- Qwen3-Embedding 能理解指令。你要在查询前加一段简短的任务描述,Qwen 建议即使面对其他语言,也用英文来写。
- EmbeddingGemma 2 的文本输入最好加上推荐的任务前缀,图像、视频和音频则不需要。
- Harrier OSS v1 和 Giga-Embeddings 都要求在查询前加“Instruct: … Query: …”前缀,文档则不加。Harrier 取最后一个 token 作为向量,Giga-Embeddings 则必须用均值池化,所以请照着各自的模型卡设置池化方式。
- voyage-4-nano 对查询和文档使用不同的提示,Jina Embeddings v5 Omni 则对每一种输入都使用“Query: ”和“Document: ”前缀。
- pplx-embed v1 不需要前缀,它的 int8 向量没有归一化,请用余弦相似度比较。
- Jina Embeddings v5 自带检索、文本匹配、聚类和分类四个任务适配器,按用途选择即可。
每个块都要保持在模型的输入上限之内。按标题或段落切分能让语义保持完整,而输出 Markdown 的 OCR 模型让扫描文档的切分更容易。
用你自己的查询测试
收集 100 到 300 个真实问题,为每个问题标出应该被找到的段落。让每个候选模型都跑一遍,统计正确段落出现在前 5 名的比例。对比两三个模型,分别测试加和不加重排序的情况,并人工查看失败的例子。如何自己评估 AI 模型更详细地介绍了方法。
准备好部署时,Text Embeddings Inference 可以在 HTTP API 后面运行开放的嵌入和重排序模型,它只服务文本模型。Nemotron 3.5 Embed 的模型卡给出了用 Transformers、Sentence Transformers 和 vLLM 的用法。请把模型名称和版本和索引放在一起记录,这样当更好的模型出现时,你就确切知道需要重建什么。
常见问题
- 最受欢迎的开源嵌入模型是哪个?
- 截至 2026 年 11 月 11 日的 30 天内,BGE-M3 在 Hugging Face 上约有 2900 万次下载,远超本站收录的其他嵌入模型。受欢迎说明它容易上手,并不等于它最适合你的文档。
- 可以混用两个不同嵌入模型的向量吗?
- 不可以。每个模型都有自己的向量空间,不同模型的向量,甚至同一家族不同规格的向量,都无法比较。换模型就意味着把所有文档重新嵌入一遍。
- 做嵌入需要 GPU 吗?
- 小模型通常不需要。Granite Embedding R2 最小只有 47M 参数,小到 CPU 就能运行,EmbeddingGemma 2 则是为在设备端运行而设计的。按我们的估算,0.6B 的模型在 BF16 下约需 1.4 GB 内存。
- 这些嵌入模型能用于商业产品吗?
- 大多数可以。BGE-M3、Harrier OSS v1 和 Giga-Embeddings 采用 MIT,我们查看过的 pplx-embed 模型卡也是 MIT,只有一张没有写明许可证。Qwen3-Embedding、EmbeddingGemma 2、Qwen3-VL-Embedding、Granite Embedding R2 和 voyage-4-nano 采用 Apache 2.0。Nemotron 3.5 Embed 采用宽松的 OpenMDW-1.1。Jina Embeddings v5 和 v5 Omni 采用 CC BY-NC,只能非商业免费使用。
- 还需要再加一个重排序模型吗?
- 不是必须的。重排序模型会把问题和每条结果放在一起阅读,再给前几名结果重新打分,更准确,但每次查询都会增加延迟。当第一阶段的结果漏掉本该找到的段落时,再考虑加上它。Qwen3-Reranker 和 BGE Reranker v2 m3 采用 Apache 2.0,Nemotron 3.5 Rerank 采用 OpenMDW-1.1,Jina Reranker v3.5 只能非商业使用。
本文关键术语
- 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
- 套娃嵌入(Matryoshka embeddings) 套娃嵌入在训练时就让向量的前半部分也能单独使用,所以你可以把向量截短,以节省存储空间和搜索时间。
- MTEB(嵌入模型基准) MTEB 即大规模文本嵌入基准(Massive Text Embedding Benchmark),在搜索、分类和聚类等众多任务上给嵌入模型打分,其公开排行榜是常用的比较方式。
- 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
- 重排序模型(Reranker) 重排序模型把问题和每条搜索结果放在一起阅读,对一小批结果重新打分,比单用嵌入更准确,但更慢。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| BGE-M3 BAAI | 568M | 8K | MIT (宽松) | 2.61 GB 笔记本或手机 | |
| Qwen3-Embedding Alibaba Qwen | 600M – 7.57B | 32K | Apache 2.0 (宽松) | 1.38 GB 笔记本或手机 | |
| EmbeddingGemma 2 Google DeepMind | 270M – 740M | 8K | Apache 2.0 (宽松) | 0.621 GB 笔记本或手机 | |
| Qwen3-VL-Embedding Alibaba Qwen | 2.13B – 8.14B | 32K | Apache 2.0 (宽松) | 4.9 GB 笔记本或手机 | |
| Nemotron 3.5 Embed NVIDIA | 1.55B – 8.38B | 32K | OpenMDW-1.1 (宽松) | 1.46 GB 笔记本或手机 | |
| Granite Embedding R2 IBM | 48M – 312M | 32K | Apache 2.0 (宽松) | 0.115 GB 笔记本或手机 | |
| Harrier OSS v1 Microsoft | 270M – 27B | 32K | MIT (宽松) | 0.621 GB 笔记本或手机 | |
| pplx-embed Perplexity | 590M – 8.4B | 32K | MIT (宽松) | 2.76 GB 笔记本或手机 | |
| Giga-Embeddings Sber (GigaChat) | 480M – 10.5B 激活 1.8B | 8K | MIT (宽松) | 1.13 GB 笔记本或手机 | |
| voyage-4-nano Voyage AI | 346M | 32K | Apache 2.0 (宽松) | 0.425 GB 笔记本或手机 | |
| Jina Embeddings v5 Jina AI | 239M – 677M | 32K | CC BY-NC (非商用) | 0.552 GB 笔记本或手机 | |
| Jina Embeddings v5 Omni Jina AI | 990M – 1.63B | 32K | CC BY-NC (非商用) | 2.27 GB 笔记本或手机 | |
| Qwen3-Reranker Alibaba Qwen | 596M – 8.19B | 32K | Apache 2.0 (宽松) | 1.37 GB 笔记本或手机 | |
| BGE Reranker v2 m3 BAAI | 568M | 8K | Apache 2.0 (宽松) | 2.61 GB 笔记本或手机 | |
| Jina Reranker v3.5 Jina AI | 597M | 128K | CC BY-NC (非商用) | 0.46 GB 笔记本或手机 | |
| Qwen3-VL-Reranker Alibaba Qwen | 2.13B – 8.77B | 32K | Apache 2.0 (宽松) | 4.9 GB 笔记本或手机 | |
| Nemotron 3.5 Rerank 8B NVIDIA | 8.38B | 32K | OpenMDW-1.1 (宽松) | 19 GB 游戏显卡 |