Cosmos 3
World models abertos da NVIDIA para robôs e direção: 4B, 16B e 64B, com entrada e saída de texto, imagens, vídeo e ações.
Em resumo. Cosmos 3 é uma família de modelos de IA da NVIDIA que entende e simula o mundo físico. Você pode dar texto, imagens, vídeo ou movimentos de robô, e ele pode responder em palavras, desenhar uma imagem, gerar um vídeo curto ou prever o que um robô deve fazer em seguida. Os dois modelos maiores também lidam com som. É feito para pesquisa em robótica e direção autônoma, e a licença é permissiva.
Resumo
A NVIDIA chama Cosmos 3 de uma família de world models onimodais para a IA física, ou seja, robôs, veículos autônomos e espaços inteligentes. Um único modelo recebe como entrada texto, imagens, vídeo e trajetórias de ações de robô, mais áudio nos dois maiores, e escreve texto, imagens, vídeo e ações, além de áudio. O Cosmos3-Nano, com 16 bilhões de parâmetros, e o Cosmos3-Super, com 64 bilhões, foram publicados no Hugging Face em 31 de maio de 2026, e o Cosmos3-Edge de 4B veio em seguida em 20 de julho de 2026, sem áudio. O design é um Mixture-of-Transformers com duas torres em uma rede: um transformer autorregressivo que escreve texto e raciocínio, e um transformer de difusão que gera imagens, vídeo, áudio e ações por remoção iterativa de ruído.
O gerador faz vídeo de 5 a 400 quadros em 256p, 480p ou 720p, 189 quadros por padrão, com áudio estéreo de 48 kHz muxado no MP4, e cria imagens e sequências de ações para embodiments compatíveis como movimento de câmera, carros, vistas egocêntricas, braços Franka, AgiBot, UR, Google robot, WidowX e UMI. O raciocinador lê imagens e vídeo com até 256K tokens de contexto e responde em texto com raciocínio, pontos e caixas delimitadoras em 2D e 3D. Prompts de texto são limitados a 4.096 tokens, e a NVIDIA recomenda expandir antes os prompts curtos para uma estrutura JSON com um LLM. O script de exemplo dela chama um endpoint de LLM que você escolhe e usa Claude Opus 4.6. A NVIDIA também publica checkpoints pós-treinados para imagem-para-vídeo, texto-para-imagem, geração em 4 passos, simulação, transferência e políticas de robô, que não listamos um por um.
Só BF16 é testado oficialmente, e as fichas dizem que FP8, FP4 e FP16 não têm suporte oficial. Os repositórios têm cerca de 9.2 GB para Edge, 35 GB para Nano e 133 GB para Super, e os modelos rodam em Linux com GPUs NVIDIA Ampere, Hopper ou Blackwell por meio de vLLM-Omni, Diffusers, SGLang ou PyTorch. As configurações recomendadas pela NVIDIA são um H200 para Nano e oito H200, H100 ou A100 para Super, onde um vídeo de 50 passos leva cerca de 55 segundos em H200s, ou uns 3 minutos em duas. Para o Edge, as tabelas da NVIDIA mostram um clipe de imagem-para-vídeo de 189 quadros em 480p em cerca de 28 segundos em um H100, 166 segundos em uma DGX Spark e 138 segundos em um Jetson AGX Thor com vLLM-Omni.
Os pesos usam a licença permissiva OpenMDW-1.1, e as fichas dizem que os modelos estão prontos para uso comercial e não comercial. As fichas listam 1,3 bilhão de amostras de treinamento de 393 datasets, incluindo 340 milhões de amostras de vídeo do YouTube, 100 milhões de imagens do Coyo-700M, cerca de 29 milhões de imagens sintéticas feitas com HiDream-I1 e Qwen-Image-2512 e 1,1 bilhão de legendas sintéticas escritas com Qwen3-VL, e dizem que conteúdo restrito foi filtrado. Os resultados de benchmark aparecem em gráficos nas fichas e no relatório técnico. A NVIDIA diz que o Edge entrega o maior throughput de geração com qualidade competitiva em PAIBench, RBench e PhysicsIQ, o que é afirmação da desenvolvedora. Nos 30 dias até 11 de novembro de 2026, o Hugging Face contou cerca de 1,31 milhão de downloads do Nano, 57.000 do Edge e 43.000 do Super.
Bom para
- Pesquisa em robótica e direção autônoma que precise de um world model para prever vídeo, ações ou resultados
- Gerar vídeos curtos de cenas físicas com áudio sincronizado no seu próprio hardware NVIDIA
- Raciocínio visual sobre vídeo, com pontos e caixas na resposta
- Começar um fine-tune de política ou simulador a partir de uma base com licença permissiva, usando o Edge de 4B em uma única GPU
Pontos de atenção
- Ele é feito para a IA física e chega no máximo a 720p e 400 quadros, então não é uma ferramenta criativa de vídeo geral
- Só BF16 é testado oficialmente, e o Super precisa de cerca de 133 GB de pesos e de oito GPUs de datacenter na configuração recomendada da NVIDIA
- Ele roda apenas em Linux com GPUs NVIDIA
- A melhor qualidade precisa de um LLM para expandir os prompts para uma estrutura JSON primeiro
- A lista de treinamento da ficha inclui grandes conjuntos raspados como vídeo do YouTube, e a OpenMDW não limpa direitos de terceiros para você
- As alegações de benchmark são da NVIDIA
As afirmações de desempenho vêm do desenvolvedor e não foram verificadas de forma independente.
De quanta memória ele precisa?
Números de memória para cada variante de Cosmos 3. Pipelines de imagem, vídeo, voz e música também carregam um codificador de texto e um decodificador, então a memória necessária pode ser maior que a do checkpoint principal.
| Variantes | Parâmetros | Tamanho do download | Memória necessária | Cabe em |
|---|---|---|---|---|
| Cosmos3-Edge BF16 | 3.86B | 9.2 GB | 11 GB | Notebook ou celular |
| Cosmos3-Nano BF16 | 15.8B | 35 GB | 40 GB | Estação de trabalho |
| Cosmos3-Super BF16 | 64.6B | 133 GB | 153 GB | Desktop com muita memória |
O tamanho do download cobre todos os componentes necessários para executar o modelo, como o gerador, o codificador de texto e o decodificador. A memória necessária é um mínimo declarado ou medido e publicado, quando existe; caso contrário, é o tamanho do download mais cerca de 15%. Imagens maiores, clipes mais longos e resoluções mais altas precisam de mais memória.
A licença em palavras simples
Uma licença permissiva e curta escrita para modelos de aprendizado de máquina pela Linux Foundation e pela PyTorch Foundation. Ela cobre o modelo, seus dados, sua documentação e seu software em conjunto, e não impõe restrições ao que você faz com as saídas do modelo.
Veja também
Perguntas frequentes
- O que é Cosmos 3?
- Cosmos 3 é uma família de modelos de IA da NVIDIA que entende e simula o mundo físico. Você pode dar texto, imagens, vídeo ou movimentos de robô, e ele pode responder em palavras, desenhar uma imagem, gerar um vídeo curto ou prever o que um robô deve fazer em seguida. Os dois modelos maiores também lidam com som. É feito para pesquisa em robótica e direção autônoma, e a licença é permissiva.
- Posso usar Cosmos 3 comercialmente?
- Sim. Cosmos 3 é lançado sob OpenMDW-1.1, uma licença permissiva. Você pode usá-lo comercialmente se seguir as condições padrão, como manter o aviso de licença.
- Cosmos 3 é de código aberto?
- Cosmos 3 é de pesos abertos, não de código aberto no sentido estrito. Você pode baixar os arquivos do modelo, mas a OpenMDW-1.1 adiciona condições que a definição da Open Source Initiative não permite.
- Consigo rodar Cosmos 3 no meu próprio computador?
- Sim. A menor variante, Cosmos3-Edge, precisa de cerca de 11 GB de memória em precisão de 4 bits, o que cabe em um notebook moderno ou em uma placa de vídeo intermediária.
- Quando Cosmos 3 foi lançado?
- Cosmos 3 foi lançado por NVIDIA em 31 de maio de 2026.
Links oficiais
Fontes
As especificações vêm destas fontes primárias. As afirmações de benchmark, quando mencionadas, são informadas pelo desenvolvedor.
- Cosmos 3 project page (NVIDIA Cosmos Lab) research.nvidia.com
- Cosmos 3 technical report (NVIDIA Research) research.nvidia.com
- Cosmos3-Nano model card (Hugging Face) huggingface.co
- Cosmos3-Edge model card (Hugging Face) huggingface.co
- Cosmos3-Super model card (Hugging Face) huggingface.co
Data de lançamento e fatos verificados pela última vez em 11 de novembro de 2026.
Modelos relacionados
| Modelo | Lançamento | Parâmetros | Contexto | Licença | Memória da menor variante |
|---|---|---|---|---|---|
| Wan 2.2 EN Alibaba Wan | 5B – 27B 14B ativos | – | Apache 2.0 (Permissiva) | 24 GB GPU gamer | |
| LTX-2.5 EN LTX (Lightricks) | 22B | – | LTX-2.x Community (Condicional) | 16 GB Notebook ou celular | |
| MiniMax H3 EN MiniMax | 33.1B | – | MiniMax H3 Community (Condicional) | 166 GB Desktop com muita memória | |
| Pika H3 Flex EN Pika | 33.1B | – | MiniMax H3 Community (Condicional) | 169 GB Desktop com muita memória |