Nemotron 3.5 Rerank 8B
NVIDIA 采用 OpenMDW 许可证的 8B 重排序模型,面向文本和文档页面图像,文本在 34 种语言上评估过。
一句话概括. Nemotron 3.5 Rerank 用来给文档问答的搜索结果重新排序。它阅读一个文本问题和一个候选,候选可以是文本、页面图像或两者兼有,并给出相关性分数。它是 NVIDIA 的 8B 模型,在 OpenMDW 许可证下可免费商用,设计上是接在 Nemotron 3.5 Embed 之后使用。
概述
NVIDIA 在 2026 年 10 月 20 日把 Nemotron 3.5 Rerank 8B 与 Nemotron 3.5 Embed 和 Parse 一起发布到了 Hugging Face,称它是面向多语言、多模态文档问答的重排序模型,文档可以包含文本、页面图像或两者,包括图表、表格和信息图。它把基于 Pixtral 的视觉编码器与双向的 Ministral 3 语言模块结合在一起。一个由 Ministral-3-8B-Instruct-2512(采用 Apache 2.0)衍生的 8B 重排序模型,先用纯文本数据训练,再用图像和图文数据训练。每次输入是一个文本查询和一个文档,最长 32768 个 token,图像默认最长边为 1120 像素,可以提高到 1540,输出是每一对的原始 logit。模型卡列出了文本评估的 34 种语言和图像评估的 18 种语言,并说其他语言也可能可用。
NVIDIA 称该模型在 2026 年 10 月 20 日登上了 ViDoRe v3.1 重排序排行榜的榜首,得分 60.49,Qwen3-VL-Reranker-8B 为 59.17,并称把它加入智能体流水线后,token 用量减少约 14%。这些数字来自 NVIDIA 的博客,是开发者自己的,与 Qwen 模型的差距也不大。
许可证是 OpenMDW-1.1,允许商用,BF16 权重为 16.76 GB,对应 8.38B 参数。模型卡的示例使用 Transformers 5.20 和 FlashAttention 2,需要 CUDA GPU 和 trust_remote_code,并且一次给一个文档打分。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到约 7700 次下载。
适合做什么
- 搜索带图表和表格的页面图像的视觉 RAG 流水线,对 Nemotron 3.5 Embed 或其他第一阶段给出的候选重新排序
- 多语言文档问答,文本评估了 34 种语言
- 采用宽松的 OpenMDW 许可证,可用于商业产品
- 也可以给纯文本候选重排序,因为第一训练阶段只用了文本
需要注意
- 16.76 GB 的 BF16 文件需要大显存的 GPU
- NVIDIA 对 Qwen3-VL-Reranker-8B 的领先只有 1.3 分,只在一个基准上,而且是它自己的数字,请在你的文档上测试
- 查询必须是文本,每个候选都单独打分,所以成本随列表增长
- 示例固定了 Transformers 5.20.0 并使用 FlashAttention 2,请准备专用环境
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Nemotron 3.5 Rerank 8B 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Rerank-8B (BF16) BF16 | 8.38B | 17 GB | 19 GB | 游戏显卡 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。
延伸阅读
常见问题
- Nemotron 3.5 Rerank 8B 是什么?
- Nemotron 3.5 Rerank 用来给文档问答的搜索结果重新排序。它阅读一个文本问题和一个候选,候选可以是文本、页面图像或两者兼有,并给出相关性分数。它是 NVIDIA 的 8B 模型,在 OpenMDW 许可证下可免费商用,设计上是接在 Nemotron 3.5 Embed 之后使用。
- Nemotron 3.5 Rerank 8B 可以商用吗?
- 可以。Nemotron 3.5 Rerank 8B 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Nemotron 3.5 Rerank 8B 是开源的吗?
- Nemotron 3.5 Rerank 8B 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Nemotron 3.5 Rerank 8B 吗?
- 可以,但需要一块好显卡。最小版本 Rerank-8B (BF16) 在 4 位精度下约需 19 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- Nemotron 3.5 Rerank 8B 是什么时候发布的?
- Nemotron 3.5 Rerank 8B 由 NVIDIA 于 2026年10月20日 发布。
- Nemotron 3.5 Rerank 8B 的上下文窗口有多长?
- Nemotron 3.5 Rerank 8B 支持最长 32K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Nemotron-3.5-Rerank-8B-BF16 model card (Hugging Face) huggingface.co
- NVIDIA Nemotron 3.5 Embed, Rerank, and Parse (Hugging Face blog, 21 Oct 2026) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nemotron 3.5 Embed NVIDIA | 1.55B – 8.38B | 32K | OpenMDW-1.1 (宽松) | 1.46 GB 笔记本或手机 | |
| Qwen3-VL-Reranker Alibaba Qwen | 2.13B – 8.77B | 32K | Apache 2.0 (宽松) | 4.9 GB 笔记本或手机 | |
| Qwen3-Reranker Alibaba Qwen | 596M – 8.19B | 32K | Apache 2.0 (宽松) | 1.37 GB 笔记本或手机 | |
| Jina Reranker v3.5 Jina AI | 597M | 128K | CC BY-NC (非商用) | 0.46 GB 笔记本或手机 |