Modelo multimodal

Un modelo multimodal puede manejar más de un tipo de datos, como texto, imágenes, audio o vídeo, como entrada, como salida o ambos.

  • Modelos y arquitectura
  • Actualización

Los modelos de visión y lenguaje leen imágenes junto con texto. Los modelos omni también pueden aceptar audio y vídeo, y los generadores de imágenes y vídeos producen imágenes o clips a partir de texto. Cada página de modelo en este sitio indica sus tipos de entrada y salida, por ejemplo texto e imagen de entrada y texto de salida.

La capacidad multimodal suele llegar como archivos adicionales: un codificador de visión junto al modelo de lenguaje, o un codificador de texto aparte para un generador de imágenes. Comprueba el tamaño de descarga en la página del modelo, que cubre todos los componentes necesarios para ejecutarlo.

Términos relacionados

  • Modelo de difusión Un modelo de difusión genera imágenes o vídeo partiendo de ruido aleatorio y quitando el ruido paso a paso hasta que emerge una imagen.
  • Modelo de embeddings Un modelo de embeddings convierte texto, imágenes u otros datos en una lista de números que captura su significado, de modo que los elementos parecidos acaban cerca unos de otros.

Todos los términos