Cosmos 3

NVIDIA 面向机器人和自动驾驶的开放世界模型,有 4B、16B 和 64B 三种尺寸,可读写文本、图像、视频和动作。

一句话概括. Cosmos 3 是 NVIDIA 的一组 AI 模型,用来理解和模拟物理世界。你可以输入文字、图片、视频或机器人动作,它能用文字回答、画一张图、生成短视频,或预测机器人下一步该做什么,两个较大的模型还能处理声音。它面向机器人和自动驾驶研究,许可证很宽松。

概述

NVIDIA 把 Cosmos 3 称为面向物理 AI 的全模态世界模型家族,物理 AI 指机器人、自动驾驶汽车和智能空间。同一个模型以文本、图像、视频和机器人动作轨迹为输入(两个较大的模型还能输入音频),输出文本、图像、视频和动作(同样加上音频)。160 亿参数的 Cosmos3-Nano 和 640 亿参数的 Cosmos3-Super 于 2026 年 5 月 31 日发布在 Hugging Face 上,40 亿参数的 Cosmos3-Edge 在 2026 年 7 月 20 日跟进,不含音频。设计是混合 Transformer(Mixture-of-Transformers),同一个网络里有两座塔:自回归 Transformer 负责写文本和推理,扩散 Transformer 通过迭代去噪生成图像、视频、音频和动作。

生成器可以输出 5 到 400 帧的视频,分辨率为 256p、480p 或 720p,默认 189 帧,48 kHz 立体声音频封装在 MP4 中,还能为支持的本体生成图像和动作序列,例如相机运动、汽车、第一人称视角、Franka 机械臂、AgiBot、UR、Google robot、WidowX 和 UMI。推理器可以读取图像和视频,上下文最长 256K token,用文字作答,并给出推理、2D 和 3D 点以及边界框。文本提示词限制为 4,096 个 token,NVIDIA 建议先用大模型把简短提示词扩写成 JSON 结构,它的示例脚本会调用你选择的大模型端点,示例用的是 Claude Opus 4.6。NVIDIA 还发布了用于图生视频、文生图、4 步生成、仿真、迁移和机器人策略的后训练检查点,我们没有逐个列出。

官方只测试了 BF16,模型卡说 FP8、FP4 和 FP16 不受官方支持。仓库大小约为 Edge 9.2 GB、Nano 35 GB、Super 133 GB,模型在 Linux 上通过 vLLM-Omni、Diffusers、SGLang 或 PyTorch 运行,需要 NVIDIA 的 Ampere、Hopper 或 Blackwell GPU。NVIDIA 推荐的配置是:Nano 用一块 H200,Super 用八块 H200、H100 或 A100,其中 50 步视频在 H200 上约需 55 秒,两块则约 3 分钟。对于 Edge,NVIDIA 的表格显示,用 vLLM-Omni 生成 189 帧 480p 的图生视频,H100 上约 28 秒,DGX Spark 上 166 秒,Jetson AGX Thor 上 138 秒。

权重采用宽松的 OpenMDW-1.1 许可证,模型卡称这些模型可用于商业和非商业用途。模型卡列出了来自 393 个数据集的 13 亿个训练样本,其中包括 3.4 亿个 YouTube 视频样本、1 亿张 Coyo-700M 图像、约 2,900 万张用 HiDream-I1 和 Qwen-Image-2512 合成的图像,以及 11 亿条用 Qwen3-VL 写的合成描述,并称已经过滤掉受限内容。基准结果以图表形式出现在模型卡和技术报告中。NVIDIA 称 Edge 的生成吞吐量最高,在 PAIBench、RBench 和 PhysicsIQ 上质量有竞争力,这是开发方的说法。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 Nano 约有 131 万次下载,Edge 5.7 万次,Super 4.3 万次。

适合做什么

  • 需要用世界模型预测视频、动作或结果的机器人和自动驾驶研究
  • 在自己的 NVIDIA 硬件上生成带同步音频的物理场景短视频
  • 对视频做视觉推理,答案里带有点和边界框
  • 以宽松许可证的模型为起点做策略或仿真器微调,4B 的 Edge 单卡即可

需要注意

  • 它面向物理 AI,最高 720p、400 帧,不是通用的创意视频工具
  • 只有 BF16 经过官方测试,Super 的权重约 133 GB,NVIDIA 推荐的配置是八块数据中心 GPU
  • 只能在 Linux 和 NVIDIA GPU 上运行
  • 要获得最佳质量,需要先用大模型把提示词扩写成 JSON 结构
  • 模型卡的训练清单包含 YouTube 视频等大型抓取数据集,OpenMDW 不会替你清理第三方权利
  • 基准结论来自 NVIDIA 自己

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Cosmos 3 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Cosmos3-Edge BF16 3.86B 9.2 GB 11 GB 笔记本或手机
Cosmos3-Nano BF16 15.8B 35 GB 40 GB 工作站
Cosmos3-Super BF16 64.6B 133 GB 153 GB 大内存台式机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

由 Linux 基金会和 PyTorch 基金会为机器学习模型撰写的简短宽松许可证。它把模型、数据、文档和软件作为整体一并授权,且不限制你如何使用模型的输出。

进一步了解 OpenMDW-1.1

延伸阅读

常见问题

Cosmos 3 是什么?
Cosmos 3 是 NVIDIA 的一组 AI 模型,用来理解和模拟物理世界。你可以输入文字、图片、视频或机器人动作,它能用文字回答、画一张图、生成短视频,或预测机器人下一步该做什么,两个较大的模型还能处理声音。它面向机器人和自动驾驶研究,许可证很宽松。
Cosmos 3 可以商用吗?
可以。Cosmos 3 采用 OpenMDW-1.1 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Cosmos 3 是开源的吗?
Cosmos 3 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 OpenMDW-1.1 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Cosmos 3 吗?
可以。最小版本 Cosmos3-Edge 在 4 位精度下约需 11 GB 内存,现代笔记本或中端显卡即可胜任。
Cosmos 3 是什么时候发布的?
Cosmos 3 由 NVIDIA 于 2026年5月31日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Wan 2.2 Alibaba Wan 5B – 27B 激活 14B – Apache 2.0 (宽松) 24 GB 游戏显卡
LTX-2.5 LTX (Lightricks) 22B – LTX-2.x Community (附条件) 16 GB 笔记本或手机
MiniMax H3 MiniMax 33.1B – MiniMax H3 Community (附条件) 166 GB 大内存台式机
Pika H3 Flex Pika 33.1B – MiniMax H3 Community (附条件) 169 GB 大内存台式机