Cosmos 3
Открытые world-модели NVIDIA для роботов и автономного вождения в 4B, 16B и 64B, читающие и пишущие текст, изображения, видео и действия.
Коротко. Cosmos 3 — семейство ИИ-моделей NVIDIA, которые понимают и моделируют физический мир. Ему можно дать текст, картинки, видео или движения робота, и он может ответить словами, нарисовать изображение, сгенерировать короткое видео или предсказать, что роботу делать дальше. Две старшие модели работают и со звуком. Оно создано для исследований в робототехнике и беспилотном вождении, лицензия разрешительная.
Краткое описание
NVIDIA называет Cosmos 3 семейством омнимодальных world-моделей для физического ИИ, то есть роботов, беспилотных автомобилей и умных пространств. Одна модель принимает на вход текст, изображения, видео и траектории действий робота, плюс аудио у двух старших, и пишет текст, изображения, видео и действия, плюс аудио. Cosmos3-Nano на 16 миллиардов параметров и Cosmos3-Super на 64 миллиарда опубликованы на Hugging Face 31 мая 2026 года, а 4B Cosmos3-Edge вышел следом 20 июля 2026 года без аудио. Архитектура — Mixture-of-Transformers с двумя башнями в одной сети: авторегрессионный трансформер пишет текст и рассуждения, а диффузионный трансформер генерирует изображения, видео, аудио и действия итеративным денойзингом.
Генератор делает видео из 5–400 кадров в 256p, 480p или 720p, по умолчанию 189 кадров, со стереоаудио 48 кГц, мультиплексированным в MP4, и создаёт изображения и последовательности действий для поддерживаемых embodiment: движение камеры, автомобили, эгоцентричные виды, руки Franka, AgiBot, UR, Google robot, WidowX и UMI. Резонер читает изображения и видео с контекстом до 256K токенов и отвечает текстом с рассуждениями, точками и рамками в 2D и 3D. Текстовые подсказки ограничены 4 096 токенами, и NVIDIA рекомендует сначала расширять короткие подсказки в JSON-структуру с помощью LLM. Пример скрипта вызывает эндпоинт LLM на ваш выбор и использует Claude Opus 4.6. NVIDIA также публикует пост-обученные чекпойнты для изображение-в-видео, текст-в-изображение, 4-шаговой генерации, симуляции, переноса и политик роботов, которые мы не перечисляем по одному.
Официально протестирован только BF16, и карточки говорят, что FP8, FP4 и FP16 официально не поддерживаются. Репозитории весят около 9.2 GB для Edge, 35 GB для Nano и 133 GB для Super, а модели работают на Linux с GPU NVIDIA Ampere, Hopper или Blackwell через vLLM-Omni, Diffusers, SGLang или PyTorch. Рекомендуемые NVIDIA конфигурации — один H200 для Nano и восемь H200, H100 или A100 для Super, где 50-шаговое видео занимает около 55 секунд на H200 или около 3 минут на двух. Для Edge таблицы NVIDIA показывают 189-кадровый 480p клип изображение-в-видео за около 28 секунд на H100, 166 секунд на DGX Spark и 138 секунд на Jetson AGX Thor с vLLM-Omni.
Веса используют разрешительную лицензию OpenMDW-1.1, и карточки говорят, что модели готовы к коммерческому и некоммерческому использованию. В карточках перечислено 1,3 миллиарда обучающих примеров из 393 датасетов, включая 340 миллионов видеопримеров YouTube, 100 миллионов изображений Coyo-700M, около 29 миллионов синтетических изображений, созданных с HiDream-I1 и Qwen-Image-2512, и 1,1 миллиарда синтетических подписей, написанных Qwen3-VL; сказано, что ограниченный контент отфильтрован. Результаты бенчмарков приведены графиками в карточках и техническом отчёте. NVIDIA заявляет, что Edge даёт наивысшую скорость генерации с конкурентным качеством на PAIBench, RBench и PhysicsIQ, — это утверждение разработчика. За 30 дней до 11 ноября 2026 года Hugging Face насчитал около 1,31 млн загрузок Nano, 57 000 Edge и 43 000 Super.
Подходит для
- Исследования в робототехнике и беспилотном вождении, которым нужен world model для предсказания видео, действий или исходов
- Генерация коротких видео физических сцен с синхронным звуком на собственном железе NVIDIA
- Визуальные рассуждения по видео с точками и рамками в ответе
- Старт файнтюна политики или симулятора с разрешительно лицензированной базы, с 4B Edge на одной GPU
На что обратить внимание
- Оно создано для физического ИИ и ограничено 720p и 400 кадрами, это не универсальный творческий видеоинструмент
- Официально протестирован только BF16, а Super требует около 133 GB весов и восьми серверных GPU в рекомендуемой NVIDIA конфигурации
- Работает только на Linux с GPU NVIDIA
- Лучшее качество требует сначала расширения подсказок в JSON-структуру с помощью LLM
- Список обучения в карточке включает крупные скрейповые наборы вроде видео YouTube, и OpenMDW не очищает за вас права третьих лиц
- Заявления о бенчмарках принадлежат NVIDIA
Заявления о производительности поступают от разработчика и не проверялись независимо.
Сколько памяти ему нужно?
Данные по памяти для каждого варианта Cosmos 3. Конвейеры для изображений, видео, речи и музыки дополнительно загружают текстовый энкодер и декодер, поэтому памяти может понадобиться больше, чем весит основной чекпойнт.
| Варианты | Параметры | Объём загрузки | Требуемая память | Поместится на |
|---|---|---|---|---|
| Cosmos3-Edge BF16 | 3.86B | 9.2 GB | 11 GB | Ноутбук или телефон |
| Cosmos3-Nano BF16 | 15.8B | 35 GB | 40 GB | Рабочая станция |
| Cosmos3-Super BF16 | 64.6B | 133 GB | 153 GB | Десктоп с большим объёмом памяти |
Объём загрузки включает все компоненты, нужные для работы модели: генератор, текстовый энкодер, декодер и другие. Требуемая память — это заявленный или опубликованный измеренный минимум, если он есть; иначе это объём загрузки плюс около 15%. Более крупные изображения, более длинные клипы и большее разрешение требуют больше памяти.
Лицензия простыми словами
Короткая разрешительная лицензия для моделей машинного обучения, написанная Linux Foundation и PyTorch Foundation. Она охватывает модель, её данные, документацию и программное обеспечение как единое целое и не накладывает никаких ограничений на то, что вы делаете с выходными данными модели.
Смотрите также
Частые вопросы
- Что такое Cosmos 3?
- Cosmos 3 — семейство ИИ-моделей NVIDIA, которые понимают и моделируют физический мир. Ему можно дать текст, картинки, видео или движения робота, и он может ответить словами, нарисовать изображение, сгенерировать короткое видео или предсказать, что роботу делать дальше. Две старшие модели работают и со звуком. Оно создано для исследований в робототехнике и беспилотном вождении, лицензия разрешительная.
- Можно ли использовать Cosmos 3 в коммерческих целях?
- Да. Cosmos 3 выпущена под OpenMDW-1.1 — это пермиссивная лицензия. Использовать её в коммерческих целях можно при соблюдении стандартных условий, например с сохранением уведомления о лицензии.
- Является ли Cosmos 3 моделью с открытым исходным кодом?
- Cosmos 3 — это открытые веса, а не открытый исходный код в строгом смысле. Файлы модели можно скачать, но OpenMDW-1.1 добавляет условия, которые определение Open Source Initiative не допускает.
- Можно ли запустить Cosmos 3 на своём компьютере?
- Да. Минимальному варианту, Cosmos3-Edge, нужно около 11 GB памяти в 4-битной точности — это по силам современному ноутбуку или видеокарте среднего уровня.
- Когда вышла Cosmos 3?
- Cosmos 3 выпущена разработчиком NVIDIA 31 мая 2026 г..
Официальные ссылки
Источники
Характеристики взяты из этих первоисточников. Упомянутые результаты бенчмарков приведены по данным разработчика.
- Cosmos 3 project page (NVIDIA Cosmos Lab) research.nvidia.com
- Cosmos 3 technical report (NVIDIA Research) research.nvidia.com
- Cosmos3-Nano model card (Hugging Face) huggingface.co
- Cosmos3-Edge model card (Hugging Face) huggingface.co
- Cosmos3-Super model card (Hugging Face) huggingface.co
Дата выпуска и факты в последний раз проверены 11 ноября 2026 г..
Связанные модели
| Модель | Дата выпуска | Параметры | Контекст | Лицензия | Память минимального варианта |
|---|---|---|---|---|---|
| Wan 2.2 EN Alibaba Wan | 5B – 27B 14B активных | – | Apache 2.0 (Пермиссивная) | 24 GB Игровая видеокарта | |
| LTX-2.5 EN LTX (Lightricks) | 22B | – | LTX-2.x Community (С условиями) | 16 GB Ноутбук или телефон | |
| MiniMax H3 EN MiniMax | 33.1B | – | MiniMax H3 Community (С условиями) | 166 GB Десктоп с большим объёмом памяти | |
| Pika H3 Flex EN Pika | 33.1B | – | MiniMax H3 Community (С условиями) | 169 GB Десктоп с большим объёмом памяти |