Cosmos 3

Открытые world-модели NVIDIA для роботов и автономного вождения в 4B, 16B и 64B, читающие и пишущие текст, изображения, видео и действия.

Коротко. Cosmos 3 — семейство ИИ-моделей NVIDIA, которые понимают и моделируют физический мир. Ему можно дать текст, картинки, видео или движения робота, и он может ответить словами, нарисовать изображение, сгенерировать короткое видео или предсказать, что роботу делать дальше. Две старшие модели работают и со звуком. Оно создано для исследований в робототехнике и беспилотном вождении, лицензия разрешительная.

Краткое описание

NVIDIA называет Cosmos 3 семейством омнимодальных world-моделей для физического ИИ, то есть роботов, беспилотных автомобилей и умных пространств. Одна модель принимает на вход текст, изображения, видео и траектории действий робота, плюс аудио у двух старших, и пишет текст, изображения, видео и действия, плюс аудио. Cosmos3-Nano на 16 миллиардов параметров и Cosmos3-Super на 64 миллиарда опубликованы на Hugging Face 31 мая 2026 года, а 4B Cosmos3-Edge вышел следом 20 июля 2026 года без аудио. Архитектура — Mixture-of-Transformers с двумя башнями в одной сети: авторегрессионный трансформер пишет текст и рассуждения, а диффузионный трансформер генерирует изображения, видео, аудио и действия итеративным денойзингом.

Генератор делает видео из 5–400 кадров в 256p, 480p или 720p, по умолчанию 189 кадров, со стереоаудио 48 кГц, мультиплексированным в MP4, и создаёт изображения и последовательности действий для поддерживаемых embodiment: движение камеры, автомобили, эгоцентричные виды, руки Franka, AgiBot, UR, Google robot, WidowX и UMI. Резонер читает изображения и видео с контекстом до 256K токенов и отвечает текстом с рассуждениями, точками и рамками в 2D и 3D. Текстовые подсказки ограничены 4 096 токенами, и NVIDIA рекомендует сначала расширять короткие подсказки в JSON-структуру с помощью LLM. Пример скрипта вызывает эндпоинт LLM на ваш выбор и использует Claude Opus 4.6. NVIDIA также публикует пост-обученные чекпойнты для изображение-в-видео, текст-в-изображение, 4-шаговой генерации, симуляции, переноса и политик роботов, которые мы не перечисляем по одному.

Официально протестирован только BF16, и карточки говорят, что FP8, FP4 и FP16 официально не поддерживаются. Репозитории весят около 9.2 GB для Edge, 35 GB для Nano и 133 GB для Super, а модели работают на Linux с GPU NVIDIA Ampere, Hopper или Blackwell через vLLM-Omni, Diffusers, SGLang или PyTorch. Рекомендуемые NVIDIA конфигурации — один H200 для Nano и восемь H200, H100 или A100 для Super, где 50-шаговое видео занимает около 55 секунд на H200 или около 3 минут на двух. Для Edge таблицы NVIDIA показывают 189-кадровый 480p клип изображение-в-видео за около 28 секунд на H100, 166 секунд на DGX Spark и 138 секунд на Jetson AGX Thor с vLLM-Omni.

Веса используют разрешительную лицензию OpenMDW-1.1, и карточки говорят, что модели готовы к коммерческому и некоммерческому использованию. В карточках перечислено 1,3 миллиарда обучающих примеров из 393 датасетов, включая 340 миллионов видеопримеров YouTube, 100 миллионов изображений Coyo-700M, около 29 миллионов синтетических изображений, созданных с HiDream-I1 и Qwen-Image-2512, и 1,1 миллиарда синтетических подписей, написанных Qwen3-VL; сказано, что ограниченный контент отфильтрован. Результаты бенчмарков приведены графиками в карточках и техническом отчёте. NVIDIA заявляет, что Edge даёт наивысшую скорость генерации с конкурентным качеством на PAIBench, RBench и PhysicsIQ, — это утверждение разработчика. За 30 дней до 11 ноября 2026 года Hugging Face насчитал около 1,31 млн загрузок Nano, 57 000 Edge и 43 000 Super.

Подходит для

  • Исследования в робототехнике и беспилотном вождении, которым нужен world model для предсказания видео, действий или исходов
  • Генерация коротких видео физических сцен с синхронным звуком на собственном железе NVIDIA
  • Визуальные рассуждения по видео с точками и рамками в ответе
  • Старт файнтюна политики или симулятора с разрешительно лицензированной базы, с 4B Edge на одной GPU

На что обратить внимание

  • Оно создано для физического ИИ и ограничено 720p и 400 кадрами, это не универсальный творческий видеоинструмент
  • Официально протестирован только BF16, а Super требует около 133 GB весов и восьми серверных GPU в рекомендуемой NVIDIA конфигурации
  • Работает только на Linux с GPU NVIDIA
  • Лучшее качество требует сначала расширения подсказок в JSON-структуру с помощью LLM
  • Список обучения в карточке включает крупные скрейповые наборы вроде видео YouTube, и OpenMDW не очищает за вас права третьих лиц
  • Заявления о бенчмарках принадлежат NVIDIA

Заявления о производительности поступают от разработчика и не проверялись независимо.

Сколько памяти ему нужно?

Данные по памяти для каждого варианта Cosmos 3. Конвейеры для изображений, видео, речи и музыки дополнительно загружают текстовый энкодер и декодер, поэтому памяти может понадобиться больше, чем весит основной чекпойнт.

Варианты Параметры Объём загрузки Требуемая память Поместится на
Cosmos3-Edge BF16 3.86B 9.2 GB 11 GB Ноутбук или телефон
Cosmos3-Nano BF16 15.8B 35 GB 40 GB Рабочая станция
Cosmos3-Super BF16 64.6B 133 GB 153 GB Десктоп с большим объёмом памяти

Объём загрузки включает все компоненты, нужные для работы модели: генератор, текстовый энкодер, декодер и другие. Требуемая память — это заявленный или опубликованный измеренный минимум, если он есть; иначе это объём загрузки плюс около 15%. Более крупные изображения, более длинные клипы и большее разрешение требуют больше памяти.

Лицензия простыми словами

Короткая разрешительная лицензия для моделей машинного обучения, написанная Linux Foundation и PyTorch Foundation. Она охватывает модель, её данные, документацию и программное обеспечение как единое целое и не накладывает никаких ограничений на то, что вы делаете с выходными данными модели.

Подробнее о OpenMDW-1.1

Смотрите также

Частые вопросы

Что такое Cosmos 3?
Cosmos 3 — семейство ИИ-моделей NVIDIA, которые понимают и моделируют физический мир. Ему можно дать текст, картинки, видео или движения робота, и он может ответить словами, нарисовать изображение, сгенерировать короткое видео или предсказать, что роботу делать дальше. Две старшие модели работают и со звуком. Оно создано для исследований в робототехнике и беспилотном вождении, лицензия разрешительная.
Можно ли использовать Cosmos 3 в коммерческих целях?
Да. Cosmos 3 выпущена под OpenMDW-1.1 — это пермиссивная лицензия. Использовать её в коммерческих целях можно при соблюдении стандартных условий, например с сохранением уведомления о лицензии.
Является ли Cosmos 3 моделью с открытым исходным кодом?
Cosmos 3 — это открытые веса, а не открытый исходный код в строгом смысле. Файлы модели можно скачать, но OpenMDW-1.1 добавляет условия, которые определение Open Source Initiative не допускает.
Можно ли запустить Cosmos 3 на своём компьютере?
Да. Минимальному варианту, Cosmos3-Edge, нужно около 11 GB памяти в 4-битной точности — это по силам современному ноутбуку или видеокарте среднего уровня.
Когда вышла Cosmos 3?
Cosmos 3 выпущена разработчиком NVIDIA 31 мая 2026 г..

Официальные ссылки

Источники

Характеристики взяты из этих первоисточников. Упомянутые результаты бенчмарков приведены по данным разработчика.

Дата выпуска и факты в последний раз проверены 11 ноября 2026 г..

Связанные модели

Модель Дата выпуска Параметры Контекст Лицензия Память минимального варианта
Wan 2.2 EN Alibaba Wan 5B – 27B 14B активных – Apache 2.0 (Пермиссивная) 24 GB Игровая видеокарта
LTX-2.5 EN LTX (Lightricks) 22B – LTX-2.x Community (С условиями) 16 GB Ноутбук или телефон
MiniMax H3 EN MiniMax 33.1B – MiniMax H3 Community (С условиями) 166 GB Десктоп с большим объёмом памяти
Pika H3 Flex EN Pika 33.1B – MiniMax H3 Community (С условиями) 169 GB Десктоп с большим объёмом памяти