Modelo multimodal
Um modelo multimodal pode lidar com mais de um tipo de dados, como texto, imagens, áudio ou vídeo, como entrada, como saída ou ambos.
Modelos de visão e linguagem leem imagens junto com o texto. Modelos omni também podem aceitar áudio e vídeo, e geradores de imagem e vídeo produzem fotos ou clipes a partir de texto. Cada página de modelo neste site lista seus tipos de entrada e saída, por exemplo, texto e imagem de entrada, texto de saída.
A capacidade multimodal costuma chegar como arquivos extras: um codificador de visão ao lado do modelo de linguagem, ou um codificador de texto separado para um gerador de imagens. Confira o tamanho do download na página do modelo, que cobre todos os componentes necessários para executá-lo.
Termos relacionados
- Modelo de difusão Um modelo de difusão gera imagens ou vídeo partindo de ruído aleatório e removendo o ruído passo a passo até que uma imagem apareça.
- Modelo de embeddings Um modelo de embeddings converte texto, imagens ou outros dados em uma lista de números que captura seu significado, de modo que itens semelhantes acabam próximos uns dos outros.