Nemotron 3.5 Rerank 8B

NVIDIA 采用 OpenMDW 许可证的 8B 重排序模型,面向文本和文档页面图像,文本在 34 种语言上评估过。

一句话概括. Nemotron 3.5 Rerank 用来给文档问答的搜索结果重新排序。它阅读一个文本问题和一个候选,候选可以是文本、页面图像或两者兼有,并给出相关性分数。它是 NVIDIA 的 8B 模型,在 OpenMDW 许可证下可免费商用,设计上是接在 Nemotron 3.5 Embed 之后使用。

概述

NVIDIA 在 2026 年 10 月 20 日把 Nemotron 3.5 Rerank 8B 与 Nemotron 3.5 Embed 和 Parse 一起发布到了 Hugging Face,称它是面向多语言、多模态文档问答的重排序模型,文档可以包含文本、页面图像或两者,包括图表、表格和信息图。它把基于 Pixtral 的视觉编码器与双向的 Ministral 3 语言模块结合在一起。一个由 Ministral-3-8B-Instruct-2512(采用 Apache 2.0)衍生的 8B 重排序模型,先用纯文本数据训练,再用图像和图文数据训练。每次输入是一个文本查询和一个文档,最长 32768 个 token,图像默认最长边为 1120 像素,可以提高到 1540,输出是每一对的原始 logit。模型卡列出了文本评估的 34 种语言和图像评估的 18 种语言,并说其他语言也可能可用。

NVIDIA 称该模型在 2026 年 10 月 20 日登上了 ViDoRe v3.1 重排序排行榜的榜首,得分 60.49,Qwen3-VL-Reranker-8B 为 59.17,并称把它加入智能体流水线后,token 用量减少约 14%。这些数字来自 NVIDIA 的博客,是开发者自己的,与 Qwen 模型的差距也不大。

许可证是 OpenMDW-1.1,允许商用,BF16 权重为 16.76 GB,对应 8.38B 参数。模型卡的示例使用 Transformers 5.20 和 FlashAttention 2,需要 CUDA GPU 和 trust_remote_code,并且一次给一个文档打分。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到约 7700 次下载。

适合做什么

  • 搜索带图表和表格的页面图像的视觉 RAG 流水线,对 Nemotron 3.5 Embed 或其他第一阶段给出的候选重新排序
  • 多语言文档问答,文本评估了 34 种语言
  • 采用宽松的 OpenMDW 许可证,可用于商业产品
  • 也可以给纯文本候选重排序,因为第一训练阶段只用了文本

需要注意

  • 16.76 GB 的 BF16 文件需要大显存的 GPU
  • NVIDIA 对 Qwen3-VL-Reranker-8B 的领先只有 1.3 分,只在一个基准上,而且是它自己的数字,请在你的文档上测试
  • 查询必须是文本,每个候选都单独打分,所以成本随列表增长
  • 示例固定了 Transformers 5.20.0 并使用 FlashAttention 2,请准备专用环境

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Nemotron 3.5 Rerank 8B 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Rerank-8B (BF16) BF16 8.38B 17 GB 19 GB 游戏显卡

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。

进一步了解 OpenMDW-1.1

延伸阅读

常见问题

Nemotron 3.5 Rerank 8B 是什么?
Nemotron 3.5 Rerank 用来给文档问答的搜索结果重新排序。它阅读一个文本问题和一个候选,候选可以是文本、页面图像或两者兼有,并给出相关性分数。它是 NVIDIA 的 8B 模型,在 OpenMDW 许可证下可免费商用,设计上是接在 Nemotron 3.5 Embed 之后使用。
Nemotron 3.5 Rerank 8B 可以商用吗?
可以。Nemotron 3.5 Rerank 8B 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Nemotron 3.5 Rerank 8B 是开源的吗?
Nemotron 3.5 Rerank 8B 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Nemotron 3.5 Rerank 8B 吗?
可以,但需要一块好显卡。最小版本 Rerank-8B (BF16) 在 4 位精度下约需 19 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
Nemotron 3.5 Rerank 8B 是什么时候发布的?
Nemotron 3.5 Rerank 8B 由 NVIDIA 于 2026年10月20日 发布。
Nemotron 3.5 Rerank 8B 的上下文窗口有多长?
Nemotron 3.5 Rerank 8B 支持最长 32K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Nemotron 3.5 Embed NVIDIA 1.55B – 8.38B 32K OpenMDW-1.1 (宽松) 1.46 GB 笔记本或手机
Qwen3-VL-Reranker Alibaba Qwen 2.13B – 8.77B 32K Apache 2.0 (宽松) 4.9 GB 笔记本或手机
Qwen3-Reranker Alibaba Qwen 596M – 8.19B 32K Apache 2.0 (宽松) 1.37 GB 笔记本或手机
Jina Reranker v3.5 Jina AI 597M 128K CC BY-NC (非商用) 0.46 GB 笔记本或手机