Modèle multimodal

Un modèle multimodal peut traiter plus d'un type de données, comme du texte, des images, de l'audio ou de la vidéo, en entrée, en sortie ou les deux.

  • Modèles et architecture
  • Mis à jour le

Les modèles vision-langage lisent les images avec le texte. Les modèles omni peuvent aussi accepter l'audio et la vidéo, et les générateurs d'images et de vidéos produisent des images ou des clips à partir de texte. Chaque page de modèle sur ce site indique ses types d'entrée et de sortie, par exemple texte et image en entrée, texte en sortie.

La capacité multimodale arrive souvent sous forme de fichiers supplémentaires : un encodeur de vision à côté du modèle de langage, ou un encodeur de texte séparé pour un générateur d'images. Vérifiez la taille du téléchargement sur la page du modèle, qui couvre tous les composants nécessaires à son exécution.

Termes associés

  • Modèle de diffusion Un modèle de diffusion génère des images ou des vidéos en partant d'un bruit aléatoire et en retirant le bruit étape par étape jusqu'à ce qu'une image apparaisse.
  • Modèle d'embeddings Un modèle d'embeddings transforme du texte, des images ou d'autres données en une liste de nombres qui capture leur sens, si bien que les éléments semblables se retrouvent proches les uns des autres.

Tous les termes