Modelo multimodal
Un modelo multimodal puede manejar más de un tipo de datos, como texto, imágenes, audio o vídeo, como entrada, como salida o ambos.
Los modelos de visión y lenguaje leen imágenes junto con texto. Los modelos omni también pueden aceptar audio y vídeo, y los generadores de imágenes y vídeos producen imágenes o clips a partir de texto. Cada página de modelo en este sitio indica sus tipos de entrada y salida, por ejemplo texto e imagen de entrada y texto de salida.
La capacidad multimodal suele llegar como archivos adicionales: un codificador de visión junto al modelo de lenguaje, o un codificador de texto aparte para un generador de imágenes. Comprueba el tamaño de descarga en la página del modelo, que cubre todos los componentes necesarios para ejecutarlo.
Términos relacionados
- Modelo de difusión Un modelo de difusión genera imágenes o vídeo partiendo de ruido aleatorio y quitando el ruido paso a paso hasta que emerge una imagen.
- Modelo de embeddings Un modelo de embeddings convierte texto, imágenes u otros datos en una lista de números que captura su significado, de modo que los elementos parecidos acaban cerca unos de otros.