Os melhores modelos multimodais de código aberto em 2026 (imagens, vídeo e áudio)
A maioria dos novos modelos abertos de ponta deste site lê imagens, e muitos também aceitam vídeo ou áudio. Esta lista reúne os modelos abertos para os quais isso é um recurso principal, do tamanho de um celular ao de um servidor, e mostra quais licenças permitem colocá-los no ar.
-
Gemma 4 EN
A família Apache 2.0 do Google, do E2B do tamanho de um celular a um carro-chefe de 31B. Aceita texto, imagens, vídeo e áudio, e traz raciocínio e uso de ferramentas.
-
Qwen3.8-27B EN
Um modelo denso de 27B sob Apache 2.0 que lê imagens e vídeo, raciocina passo a passo e cabe em uma única GPU.
-
Qwen3.6 EN
O par Qwen3.6 da Alibaba sob Apache 2.0: um modelo de mistura de especialistas de 35B com 3B ativos e um modelo denso de 27B; ambos aceitam imagem e vídeo e são ajustados para programação com agentes.
-
Qwen3.5 EN
A família Apache 2.0 da Alibaba vai de 0.8B a 397B, com entrada de imagem e vídeo, 201 idiomas e contexto de 256K.
-
MiniCPM-V 4.7 EN
Os modelos para celular da OpenBMB sob Apache 2.0: uma mistura de especialistas 35B-A3B e um modelo de 1B, ambos com imagens e vídeo.
-
MiniCPM-o 4.5 EN
O modelo de 9B da OpenBMB sob Apache 2.0 vê, ouve e fala ao mesmo tempo. Recebe vídeo e áudio ao vivo enquanto responde em texto e voz em inglês ou chinês, e a OpenBMB lista 11 GB de memória de GPU em int4.
-
Mage-VL EN
O modelo visão-linguagem de 4B da Microsoft sob Apache 2.0 lê vídeo como um codec, corta mais de 75% dos tokens visuais e traz um gate para transmissões ao vivo. Nas tabelas da Microsoft, supera o Qwen3-VL-4B na maioria dos testes de vídeo e espaciais.
-
LocateAnything-3B EN
O modelo de 3B da NVIDIA responde com caixas e pontos a posição de objetos, elementos de GUI e texto, a 12,7 caixas por segundo em uma H100 segundo a medição da NVIDIA. A licença é apenas para pesquisa.
-
Ternary Bonsai 2 EN
Os modelos visão-linguagem da PrismML com pesos ternários: de um modelo de 2B em 0,43 GB a um de classe 27B em 5,95 GB, sob Apache 2.0. Aceitam imagens e texto.
-
SenseNova-Loop-9B-Preview EN
A prévia visão-linguagem em loop de 9B da SenseTime sob Apache 2.0: as camadas 4 a 27 rodam duas vezes, com entrada de texto e imagem e contexto de 256K. Precisa de código próprio e suas pontuações publicadas são mistas contra o Qwen3.5-27B.
-
Muse Glimmer EN
O modelo multimodal denso de 30B da Meta para agentes locais: destilado do Muse Spark, sob Apache 2.0 e quantizado para caber em uma GPU de 24 GB.
-
GLM-5.3-Flash EN
O GLM multimodal sob licença MIT: 320B no total e 18B ativos, entrada de imagens e vídeo, contexto de 1M e um design feito para servir contextos longos a baixo custo.
-
Step 3.7 Flash EN
A mistura de especialistas visão-linguagem de 198B da StepFun sob Apache 2.0: 11B de parâmetros ativos, contexto de 256K e um codificador de visão de 1.8B. Mira agentes que leem capturas de tela, gráficos e documentos, e um GGUF de 111.5 GB cabe em um Mac ou mini PC de 128 GB.
-
Step 5 Preview EN
A mistura de especialistas de 600B da StepFun com contexto de 1M e entrada de imagem, para agentes que analisam relatórios longos, gráficos e capturas de tela. A ficha do modelo também menciona vídeo, mas a especificação lista apenas texto e imagem, e a licença própria tem termos de hardware e hospedagem.
-
MiMo-V2.6 EN
Os modelos onnimodais para agentes da Xiaomi: um Pro de 1T, um Flash de 310B e um checkpoint de pesquisa de 9B, com contexto de 1M. A licença está marcada como MIT.
-
Nemotron 3 Nano Omni EN
A mistura de especialistas de 31B da NVIDIA com 3B ativos aceita vídeo, áudio, imagens e texto com contexto de 256K. É só em inglês, responde em texto e roda em uma RTX 5090 de 32 GB em NVFP4.
-
Qwen3-Omni EN
A mistura de especialistas de 30B da Alibaba com 3B ativos lê texto, imagens, áudio e vídeo e pode responder em texto ou fala em 10 idiomas. Apache 2.0, mas a Alibaba lista cerca de 79 GB em BF16 para um clipe de 15 segundos.
-
Muse Spark Open EN
A mistura de especialistas de 816B da Meta com 42B ativos e contexto de 1M aceita texto, imagem, vídeo e áudio. Usa a licença Muse própria da Meta: leia antes do uso comercial.
-
Apertus 1.5 EN
Os modelos 8B e 70B totalmente abertos da Swiss AI sob Apache 2.0 leem imagens e áudio além de texto, com contexto de 262K. Respondem apenas em texto e a compreensão de áudio é experimental.
-
LongCat-2.5 Mais recente EN
A mistura de especialistas de 1.6T da Meituan sob licença MIT, com 48B de parâmetros ativos, aceita texto, imagens e vídeo com contexto de 1M de tokens. A implantação só está documentada para servidores NPU.
-
LFM3 EN
A família da Liquid AI tem um modelo de texto de 1.7B com contexto de 256K que cabe em 1 GB, além de irmãos de visão, áudio e omni. A LFM Open License permite uso comercial apenas abaixo de 10 milhões de dólares em receita anual.
-
Mirage EN
O modelo de visão de 51M da Cactus Compute sob Apache 2.0 ocupa um arquivo de 22 MB: descreve uma foto, encontra objetos, lê texto e preenche formulários em 74 ms na NPU de um Galaxy S26. Não é um modelo de chat, e o post de lançamento não traz benchmarks de precisão padrão.
Como escolhemos
- Modelos que aceitam imagens, vídeo ou áudio como entrada, com pesos abertos que você pode baixar hoje.
- Apenas versões atuais: modelos substituídos por uma geração mais nova, como o Qwen3-VL, ficam de fora.
- As pontuações dos benchmarks de visão vêm dos próprios desenvolvedores, então não usamos elas para classificar. Teste com suas próprias imagens, porque capturas de tela, gráficos e escrita à mão se comportam muito diferente de fotos.
- Contexto e licença aparecem porque limitam o que você pode lançar.