Modelo de visão e linguagem (VLM)

Um modelo de visão e linguagem lê imagens, e com frequência vídeos, junto com texto, então você pode fazer perguntas sobre uma foto, uma captura de tela ou uma página de documento.

  • Modelos e arquitetura
  • Atualizado

Um VLM junta um modelo de linguagem com um codificador de visão que transforma a imagem em tokens que o modelo de linguagem consegue ler. A saída é texto, então um VLM pode descrever uma foto, ler um gráfico, responder perguntas sobre uma captura de tela ou transformar uma página em Markdown. O termo é mais estreito que modelo multimodal, que também cobre áudio e a geração de imagens ou fala.

Muitos lançamentos de 2026 são VLMs por padrão, por exemplo Qwen3.5, Gemma 4 e Mistral Large 4. Os modelos OCR deste site são VLMs pequenos treinados para uma única tarefa: ler documentos. Confira a coluna de entradas em cada página de modelo, porque entrada de imagem não significa entrada de vídeo ou áudio.

Termos relacionados

  • Modelo multimodal Um modelo multimodal pode lidar com mais de um tipo de dados, como texto, imagens, áudio ou vídeo, como entrada, como saída ou ambos.
  • OCR e análise de documentos O OCR transforma a imagem de um texto em texto; a análise de documentos vai além e reconstrói tabelas, fórmulas, gráficos e a ordem de leitura, geralmente como Markdown.
  • Token Um token é um pequeno pedaço de texto, muitas vezes uma palavra ou parte de uma palavra, que um modelo de linguagem lê e escreve; os modelos medem comprimento e velocidade em tokens.

Todos os termos