Cosmos 3:NVIDIA 面向机器人和自动驾驶的开放世界模型

NVIDIA 以 OpenMDW-1.1 发布 Cosmos 3:4B、16B 和 64B 的世界模型,能生成视频、图像和机器人动作,也能对视频做推理,面向机器人和自动驾驶。

  • 新发布
  • 阅读约 3 分钟
  • 发布于

NVIDIA 分两步把 Cosmos 3 发布在 Hugging Face 上:2026 年 5 月 31 日是 160 亿参数的 Nano 和 640 亿参数的 Super,7 月 20 日是 40 亿参数的 Edge。NVIDIA 称它是面向物理 AI(机器人、自动驾驶汽车和智能空间)的全模态世界模型家族。三个模型都采用宽松的 OpenMDW-1.1 许可证。

有什么新东西

它的设计是 Mixture-of-Transformers:一个网络里有两座塔。自回归 Transformer 负责写文字和推理,扩散 Transformer 通过迭代去噪生成图像、视频、音频和机器人动作。所以同一个模型以文本、图像、视频和动作轨迹为输入(Nano 和 Super 还支持音频),并写出同样种类的输出。

作为生成器,它能生成 5 到 400 帧、最高 720p 的视频,默认 189 帧,两个较大的尺寸还带 48 kHz 立体声。它也能为汽车、Franka 机械臂、AgiBot 和 UMI 等载体生成图像和动作序列。作为推理器,它能读取图像和视频,上下文最长 256K token,用文字回答,并给出点和边界框。NVIDIA 建议先用大模型把简短的提示词扩写成 JSON 结构。

怎么运行

仓库大小分别是:Edge 9.2 GB,Nano 35 GB,Super 133 GB。官方只测试了 BF16,模型卡说 FP8、FP4 和 FP16 不受支持。模型运行在装有 NVIDIA Ampere、Hopper 或 Blackwell GPU 的 Linux 上,可通过 vLLM-Omni、Diffusers、SGLang 或 PyTorch 使用。NVIDIA 为 Nano 推荐一张 H200,为 Super 推荐八张 H200、H100 或 A100。据我们估算,Edge 约需 11 GB 内存,Nano 约 40 GB,Super 约 153 GB。

对于 Edge,NVIDIA 的表格显示,在 H100 上生成一段 189 帧、480p 的图生视频片段约需 28 秒,在 DGX Spark 上约需 166 秒。截至 11 月 11 日的 30 天内,Hugging Face 统计 Nano 约有 131 万次下载,Edge 约 5.7 万次,Super 约 4.3 万次。

许可证

OpenMDW-1.1 是面向模型的宽松许可证,模型卡称 Cosmos 3 可用于商业和非商业用途,没有营收上限或地区限制。模型卡列出了 13 亿条训练样本,其中包括 3.4 亿条 YouTube 视频样本,所以这份许可证并不会替你解决数据中的第三方权利问题。

为什么重要

我们目录里的开放视频模型大多面向创意短片。Wan 2.2 是宽松许可证的代表,LTX-2.5 增加了声音。Cosmos 3 瞄准的是另一件事:预测场景或机器人接下来会怎样,而且同一个网络里还有一半用于推理。它的限制是视频最高 720p、只能在 NVIDIA 的 Linux 硬件上运行,而且基准结论都来自 NVIDIA。请看 Cosmos 3 与 Wan 2.2 对比了解取舍,图像和视频榜单则展示整个类别。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Cosmos 3 NVIDIA 3.86B – 64.6B – OpenMDW-1.1 (宽松) 11 GB 笔记本或手机
Wan 2.2 Alibaba Wan 5B – 27B 激活 14B – Apache 2.0 (宽松) 24 GB 游戏显卡
LTX-2.5 LTX (Lightricks) 22B – LTX-2.x Community (附条件) 16 GB 笔记本或手机
MiniMax H3 MiniMax 33.1B – MiniMax H3 Community (附条件) 166 GB 大内存台式机
Qwen-Image-2.1 Alibaba Qwen 7.1B – Qwen Research License (非商用) 20 GB 游戏显卡