Dory 1.0

NVIDIA 的 4B 循环模型,把同一个共享模块重复运行 1 到 4 次,部署时自己设定深度。OpenMDW-1.1,上下文 256K。

一句话概括. Dory 是 NVIDIA 推出的 4B 小模型,可以在不变大的情况下“想得更多”。每生成一个词,它会把同一组层重复使用一到四次,启动服务时由你选择要更快的回答还是更好的回答。它只支持英语。

概述

NVIDIA 在 2026 年 10 月 16 日发布了 Dory1.0-4B,这是 Nemotron Labs 系列中的第一个开放循环模型,11 月又发布了技术报告(arXiv 2611.03998)。它约有 40 亿参数,采用归一化 GPT 骨干,滑动窗口注意力层和全注意力层分成三组:8 层的输入块、可重复使用的 20 层循环块,以及 8 层的输出块。部署时你可以设定循环块运行的次数,从一次到四次,这样同一个检查点就能适应不同的算力预算,不需要重新训练。NVIDIA 推荐默认用两次循环,一次循环适合把算力降到最低,四次循环适合智能体任务。它用 6 万亿 token 预训练,其中前 4.5 万亿 token 采用 NVFP4 精度,随后把上下文扩展到 256K,并用监督微调和可验证奖励的强化学习做后训练。

NVIDIA 自己的结果把它与 Qwen3.5-4B、Qwen3.5-9B、Gemma 4 26B A4B 和 Qwen3.6-35B-A3B 做了对比。在 SWE-bench Verified 上,Dory 一次、两次和四次循环分别得 50.3、59.5 和 61.8,而 Qwen3.5-4B 为 54.7,Qwen3.5-9B 为 61。在 Terminal-Bench 2.1 上它得 12.5、18.1 和 22.2,这两个模型分别为 15 和 24。在 GPQA Diamond 等知识测试上它落后,得分 69.2 到 72.4,而对比模型为 77.7 到 85.4。报告称,12 项基准的平均分从一次循环的 35.2 升到两次的 39.7 和四次的 40.6,并且在智能体测试中,四次循环生成的 token 比一次循环少 1.3 到 2.5 倍。这些都是 NVIDIA 自己测的,Qwen3.6 的 SWE-bench 分数是公开报告的数字。

权重采用 OpenMDW-1.1 许可证,模型卡称它可用于商业或非商业用途。BF16 检查点约 8.0 GB,NVIDIA 还提供 MXFP8(约 4.8 GB)、NVFP4(约 3.2 GB)以及用于 llama.cpp 的 Q5_K_M GGUF(约 3.7 GB)。vLLM 的支持已在 2026 年 10 月 25 日合并,而 llama.cpp 的拉取请求到 2026 年 11 月 11 日仍未合并,因此 GGUF 路线需要使用 NVIDIA 说明里指定的固定版本构建。vLLM 中推理模式始终开启,推荐采样温度 1.0、top-p 0.95。默认每次循环都保留自己的 KV 缓存,但“最后一次循环”模式能把内存保持在单次循环的水平,NVIDIA 称准确度相差不大。

适合做什么

  • 内存预算很小的推理、编程和智能体任务,BF16 约 8 GB,NVFP4 约 3.2 GB
  • 带有“速度与质量旋钮”的部署:便宜的调用用一次循环,较难的智能体任务用四次,用的是同一个检查点
  • 最长 256K token 的长输入,并且“最后一次循环”缓存模式能把 KV 缓存内存保持在单次循环的水平
  • 研究循环式(潜在递归)模型的研究者

需要注意

  • 只支持英语
  • 循环越多,每个 token 的算力越高,报告称生成的 token 变少只能部分抵消,所以请在自己的任务上测量延迟和成本
  • 在 GPQA Diamond 和 Humanity's Last Exam 等知识测试上落后于更大的对手
  • llama.cpp 路线需要固定版本的构建,因为该拉取请求到 2026 年 11 月 11 日仍未合并
  • 基准数字都来自 NVIDIA 自己,其中 Artificial Analysis 的分数是内部估算

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Dory1.0-4B (BF16) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Dory1.0-4B (BF16) BF16 4B 9.2 GB 4.6 GB 2.76 GB 笔记本或手机
Dory1.0-4B (MXFP8) FP8 4B 9.2 GB 4.6 GB 2.76 GB 笔记本或手机
Dory1.0-4B (NVFP4) NVFP4 4B 9.2 GB 4.6 GB 3.52 GB 笔记本或手机

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。

进一步了解 OpenMDW-1.1

延伸阅读

常见问题

Dory 1.0 是什么?
Dory 是 NVIDIA 推出的 4B 小模型,可以在不变大的情况下“想得更多”。每生成一个词,它会把同一组层重复使用一到四次,启动服务时由你选择要更快的回答还是更好的回答。它只支持英语。
Dory 1.0 可以商用吗?
可以。Dory 1.0 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Dory 1.0 是开源的吗?
Dory 1.0 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Dory 1.0 吗?
可以。最小版本 Dory1.0-4B (BF16) 在 4 位精度下约需 2.76 GB 内存,现代笔记本或中端显卡即可胜任。
Dory 1.0 是什么时候发布的?
Dory 1.0 由 NVIDIA 于 2026年10月16日 发布。
Dory 1.0 的上下文窗口有多长?
Dory 1.0 支持最长 256K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3.5 Alibaba Qwen 873M – 403B 激活 17B 256K Apache 2.0 (宽松) 0.602 GB 笔记本或手机
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
Nemotron 3 Nano 4B NVIDIA 3.97B 256K NVIDIA Nemotron (宽松) 2.74 GB 笔记本或手机
Nemotron 3.5 Lightning NVIDIA 31.6B 激活 3B 1M OpenMDW-1.1 (宽松) 22 GB 游戏显卡