Cosmos 3

World models abertos da NVIDIA para robôs e direção: 4B, 16B e 64B, com entrada e saída de texto, imagens, vídeo e ações.

Em resumo. Cosmos 3 é uma família de modelos de IA da NVIDIA que entende e simula o mundo físico. Você pode dar texto, imagens, vídeo ou movimentos de robô, e ele pode responder em palavras, desenhar uma imagem, gerar um vídeo curto ou prever o que um robô deve fazer em seguida. Os dois modelos maiores também lidam com som. É feito para pesquisa em robótica e direção autônoma, e a licença é permissiva.

Resumo

A NVIDIA chama Cosmos 3 de uma família de world models onimodais para a IA física, ou seja, robôs, veículos autônomos e espaços inteligentes. Um único modelo recebe como entrada texto, imagens, vídeo e trajetórias de ações de robô, mais áudio nos dois maiores, e escreve texto, imagens, vídeo e ações, além de áudio. O Cosmos3-Nano, com 16 bilhões de parâmetros, e o Cosmos3-Super, com 64 bilhões, foram publicados no Hugging Face em 31 de maio de 2026, e o Cosmos3-Edge de 4B veio em seguida em 20 de julho de 2026, sem áudio. O design é um Mixture-of-Transformers com duas torres em uma rede: um transformer autorregressivo que escreve texto e raciocínio, e um transformer de difusão que gera imagens, vídeo, áudio e ações por remoção iterativa de ruído.

O gerador faz vídeo de 5 a 400 quadros em 256p, 480p ou 720p, 189 quadros por padrão, com áudio estéreo de 48 kHz muxado no MP4, e cria imagens e sequências de ações para embodiments compatíveis como movimento de câmera, carros, vistas egocêntricas, braços Franka, AgiBot, UR, Google robot, WidowX e UMI. O raciocinador lê imagens e vídeo com até 256K tokens de contexto e responde em texto com raciocínio, pontos e caixas delimitadoras em 2D e 3D. Prompts de texto são limitados a 4.096 tokens, e a NVIDIA recomenda expandir antes os prompts curtos para uma estrutura JSON com um LLM. O script de exemplo dela chama um endpoint de LLM que você escolhe e usa Claude Opus 4.6. A NVIDIA também publica checkpoints pós-treinados para imagem-para-vídeo, texto-para-imagem, geração em 4 passos, simulação, transferência e políticas de robô, que não listamos um por um.

Só BF16 é testado oficialmente, e as fichas dizem que FP8, FP4 e FP16 não têm suporte oficial. Os repositórios têm cerca de 9.2 GB para Edge, 35 GB para Nano e 133 GB para Super, e os modelos rodam em Linux com GPUs NVIDIA Ampere, Hopper ou Blackwell por meio de vLLM-Omni, Diffusers, SGLang ou PyTorch. As configurações recomendadas pela NVIDIA são um H200 para Nano e oito H200, H100 ou A100 para Super, onde um vídeo de 50 passos leva cerca de 55 segundos em H200s, ou uns 3 minutos em duas. Para o Edge, as tabelas da NVIDIA mostram um clipe de imagem-para-vídeo de 189 quadros em 480p em cerca de 28 segundos em um H100, 166 segundos em uma DGX Spark e 138 segundos em um Jetson AGX Thor com vLLM-Omni.

Os pesos usam a licença permissiva OpenMDW-1.1, e as fichas dizem que os modelos estão prontos para uso comercial e não comercial. As fichas listam 1,3 bilhão de amostras de treinamento de 393 datasets, incluindo 340 milhões de amostras de vídeo do YouTube, 100 milhões de imagens do Coyo-700M, cerca de 29 milhões de imagens sintéticas feitas com HiDream-I1 e Qwen-Image-2512 e 1,1 bilhão de legendas sintéticas escritas com Qwen3-VL, e dizem que conteúdo restrito foi filtrado. Os resultados de benchmark aparecem em gráficos nas fichas e no relatório técnico. A NVIDIA diz que o Edge entrega o maior throughput de geração com qualidade competitiva em PAIBench, RBench e PhysicsIQ, o que é afirmação da desenvolvedora. Nos 30 dias até 11 de novembro de 2026, o Hugging Face contou cerca de 1,31 milhão de downloads do Nano, 57.000 do Edge e 43.000 do Super.

Bom para

  • Pesquisa em robótica e direção autônoma que precise de um world model para prever vídeo, ações ou resultados
  • Gerar vídeos curtos de cenas físicas com áudio sincronizado no seu próprio hardware NVIDIA
  • Raciocínio visual sobre vídeo, com pontos e caixas na resposta
  • Começar um fine-tune de política ou simulador a partir de uma base com licença permissiva, usando o Edge de 4B em uma única GPU

Pontos de atenção

  • Ele é feito para a IA física e chega no máximo a 720p e 400 quadros, então não é uma ferramenta criativa de vídeo geral
  • Só BF16 é testado oficialmente, e o Super precisa de cerca de 133 GB de pesos e de oito GPUs de datacenter na configuração recomendada da NVIDIA
  • Ele roda apenas em Linux com GPUs NVIDIA
  • A melhor qualidade precisa de um LLM para expandir os prompts para uma estrutura JSON primeiro
  • A lista de treinamento da ficha inclui grandes conjuntos raspados como vídeo do YouTube, e a OpenMDW não limpa direitos de terceiros para você
  • As alegações de benchmark são da NVIDIA

As afirmações de desempenho vêm do desenvolvedor e não foram verificadas de forma independente.

De quanta memória ele precisa?

Números de memória para cada variante de Cosmos 3. Pipelines de imagem, vídeo, voz e música também carregam um codificador de texto e um decodificador, então a memória necessária pode ser maior que a do checkpoint principal.

Variantes Parâmetros Tamanho do download Memória necessária Cabe em
Cosmos3-Edge BF16 3.86B 9.2 GB 11 GB Notebook ou celular
Cosmos3-Nano BF16 15.8B 35 GB 40 GB Estação de trabalho
Cosmos3-Super BF16 64.6B 133 GB 153 GB Desktop com muita memória

O tamanho do download cobre todos os componentes necessários para executar o modelo, como o gerador, o codificador de texto e o decodificador. A memória necessária é um mínimo declarado ou medido e publicado, quando existe; caso contrário, é o tamanho do download mais cerca de 15%. Imagens maiores, clipes mais longos e resoluções mais altas precisam de mais memória.

A licença em palavras simples

Uma licença permissiva e curta escrita para modelos de aprendizado de máquina pela Linux Foundation e pela PyTorch Foundation. Ela cobre o modelo, seus dados, sua documentação e seu software em conjunto, e não impõe restrições ao que você faz com as saídas do modelo.

Mais sobre OpenMDW-1.1

Veja também

Perguntas frequentes

O que é Cosmos 3?
Cosmos 3 é uma família de modelos de IA da NVIDIA que entende e simula o mundo físico. Você pode dar texto, imagens, vídeo ou movimentos de robô, e ele pode responder em palavras, desenhar uma imagem, gerar um vídeo curto ou prever o que um robô deve fazer em seguida. Os dois modelos maiores também lidam com som. É feito para pesquisa em robótica e direção autônoma, e a licença é permissiva.
Posso usar Cosmos 3 comercialmente?
Sim. Cosmos 3 é lançado sob OpenMDW-1.1, uma licença permissiva. Você pode usá-lo comercialmente se seguir as condições padrão, como manter o aviso de licença.
Cosmos 3 é de código aberto?
Cosmos 3 é de pesos abertos, não de código aberto no sentido estrito. Você pode baixar os arquivos do modelo, mas a OpenMDW-1.1 adiciona condições que a definição da Open Source Initiative não permite.
Consigo rodar Cosmos 3 no meu próprio computador?
Sim. A menor variante, Cosmos3-Edge, precisa de cerca de 11 GB de memória em precisão de 4 bits, o que cabe em um notebook moderno ou em uma placa de vídeo intermediária.
Quando Cosmos 3 foi lançado?
Cosmos 3 foi lançado por NVIDIA em 31 de maio de 2026.

Links oficiais

Fontes

As especificações vêm destas fontes primárias. As afirmações de benchmark, quando mencionadas, são informadas pelo desenvolvedor.

Data de lançamento e fatos verificados pela última vez em 11 de novembro de 2026.

Modelos relacionados

Modelo Lançamento Parâmetros Contexto Licença Memória da menor variante
Wan 2.2 EN Alibaba Wan 5B – 27B 14B ativos – Apache 2.0 (Permissiva) 24 GB GPU gamer
LTX-2.5 EN LTX (Lightricks) 22B – LTX-2.x Community (Condicional) 16 GB Notebook ou celular
MiniMax H3 EN MiniMax 33.1B – MiniMax H3 Community (Condicional) 166 GB Desktop com muita memória
Pika H3 Flex EN Pika 33.1B – MiniMax H3 Community (Condicional) 169 GB Desktop com muita memória