NVIDIA 的 Nemotron 3.5 Embed 和 Parse:把文档页面当作图像来检索和阅读

NVIDIA 发布了 Nemotron 3.5 Embed(无需 OCR 就能检索页面图像和文本)和 631M 的页面解析模型 Nemotron 3.5 Parse,都采用 OpenMDW-1.1,可商用。

  • 新发布
  • 阅读约 4 分钟
  • 发布于

NVIDIA 在 2026 年 10 月于 Hugging Face 上发布了两个文档模型:10 月 17 日的 Nemotron 3.5 Parse 和 10 月 20 日的 Nemotron 3.5 Embed。NVIDIA 在 10 月 21 日把它们与一个重排序模型 Nemotron 3.5 Rerank 一起发布了公告。一个把页面图像转成结构化文本,另一个让你用普通的文字问题去检索页面图像。

有什么新内容

Embed 是面向文档页面的检索模型。查询是文本,而文档可以是页面图像、文本或两者兼有,所以表格、图表和示意图无需先运行 OCR 就能被检索。它有 8B 模型(8.38B 参数,4096 维向量,BF16 下 16.8 GB)、由它蒸馏出的 1B 模型(1.55B 参数,2048 维,3.1 GB),以及 1B 的 NVFP4 版本(1.3 GB)。语言部分是冻结的,来自 NVIDIA 纯文本的 Nemotron 3 Embed 模型,所以文本嵌入与它们完全一致,现有的文本索引可以继续使用。NVIDIA 报告 8B 模型在 ViDoRe v3.1 上的 nDCG@10 为 61.17,在 10 月 20 日位列该榜单稠密检索模型第一,而它之前的 Llama Nemotron Embed VL 1B 是 52.23。

Parse 把页面图像读成 Markdown、表格、图表数据、阅读顺序和边界框。它有 6.31 亿参数。你可以选择每个页面花多少功夫:单遍解析整页一次,双遍会以更高精细度重新解析表格和图表,三遍则再加上一个版面检测器。NVIDIA 报告三种模式的 ParseBench 得分分别为 72.74、74.92 和 75.20,在一块 H100 上每秒处理 16.1、11.2 和 10.5 页。三遍模式的得分是 NVIDIA 对比表里最高的,但只比 LightOnOCR-3-4B 的 75.10 高 0.1 分。所有这些数字都来自 NVIDIA 自己。

运行它

Embed 的模型卡给出了 Transformers、Sentence Transformers 和 vLLM 的示例。文本检索评测了 34 种语言,图像检索评测了 18 种,而且查询必须是文本,所以不能用图像去检索。Parse 的模型卡展示了 Transformers(需要 trust-remote-code)和 vLLM,模型也可以通过 NVIDIA Build API 或 Baseten 调用。它建议的最大输入是 1664 × 2048 像素,所以 PDF 必须先渲染成页面图像。模型卡把 Linux 加 NVIDIA H100 或 H200 GPU 列为测试环境。

许可证

两个模型都采用 OpenMDW-1.1 许可证,这是 Linux 基金会和 PyTorch 基金会为机器学习模型编写的简短宽松许可证。它把模型、数据、文档和软件一并涵盖,对输出没有任何限制。模型卡称这些模型可用于商业或非商业用途。

为什么重要

两者合起来覆盖了文档流水线的两半:Parse 提取文本,Embed 把页面当作图像来检索。LightOnOCR-3 是 NVIDIA 表格里最接近的开放解析模型,Qwen3-VL-Embedding 则是可以与 Embed 比较的多模态嵌入模型。榜单名次有日期,速度也是在 NVIDIA 硬件上测的,所以请在你自己的文档上测试这两个模型。

OCR 与文档解析模型和嵌入模型榜单展示了它们的位置,如何选择嵌入模型则说明了该测试什么。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Nemotron 3.5 Embed NVIDIA 1.55B – 8.38B 32K OpenMDW-1.1 (宽松) 1.46 GB 笔记本或手机
Nemotron 3.5 Parse NVIDIA 631M – OpenMDW-1.1 (宽松) 0.435 GB 笔记本或手机
LightOnOCR-3 LightOn 853M – 4.54B 256K Apache 2.0 (宽松) 0.589 GB 笔记本或手机
Qwen3-VL-Embedding Alibaba Qwen 2.13B – 8.14B 32K Apache 2.0 (宽松) 4.9 GB 笔记本或手机