Les meilleurs modèles multimodaux open source en 2026 (images, vidéo et audio)
La plupart des nouveaux modèles open source phares de ce site lisent les images, et beaucoup acceptent aussi la vidéo ou l'audio. Cette liste retient les modèles ouverts pour qui c'est la fonction principale, de la taille du smartphone à celle du serveur, et indique quelles licences vous autorisent à les mettre en production.
-
Gemma 4 EN
La famille Apache 2.0 de Google, du E2B format smartphone au fleuron de 31B. Elle accepte texte, images, vidéo et audio, et sait raisonner et utiliser des outils.
-
Qwen3.8-27B EN
Un modèle dense de 27B sous Apache 2.0 qui lit images et vidéo, raisonne étape par étape et tient sur un seul GPU.
-
Qwen3.6 EN
Le duo Qwen3.6 d'Alibaba sous Apache 2.0 : un modèle de mélange d'experts de 35B avec 3B actifs et un modèle dense de 27B ; tous deux acceptent image et vidéo et sont optimisés pour le code agentique.
-
Qwen3.5 EN
La famille Apache 2.0 d'Alibaba va de 0.8B à 397B, avec entrée image et vidéo, 201 langues et un contexte de 256K.
-
MiniCPM-V 4.7 EN
Les modèles pour mobile d'OpenBMB sous Apache 2.0 : un mélange d'experts 35B-A3B et un modèle 1B, tous deux avec images et vidéo.
-
MiniCPM-o 4.5 EN
Le modèle 9B d'OpenBMB sous Apache 2.0 voit, écoute et parle en même temps. Il prend vidéo et audio en direct tout en répondant en texte et en voix anglaise ou chinoise ; OpenBMB annonce 11 Go de mémoire GPU en int4.
-
Mage-VL EN
Le modèle vision-langage 4B de Microsoft sous Apache 2.0 lit la vidéo comme un codec, réduit les tokens visuels de plus de 75 % et embarque une porte pour les flux en direct. Dans les tableaux de Microsoft, il devance Qwen3-VL-4B sur la plupart des tests vidéo et spatiaux.
-
LocateAnything-3B EN
Le modèle 3B de NVIDIA répond par boîtes et points pour localiser objets, éléments d'interface et texte, à 12,7 boîtes par seconde sur une H100 selon la mesure de NVIDIA. La licence est réservée à la recherche.
-
Ternary Bonsai 2 EN
Les modèles vision-langage de PrismML à poids ternaires : d'un modèle 2B en 0,43 Go à un modèle de classe 27B en 5,95 Go, sous Apache 2.0. Ils acceptent images et texte.
-
SenseNova-Loop-9B-Preview EN
L'aperçu vision-langage en boucle 9B de SenseTime sous Apache 2.0 : les couches 4 à 27 tournent deux fois, avec entrée texte et image et un contexte de 256K. Il exige du code spécifique et ses scores publiés sont mitigés face à Qwen3.5-27B.
-
Muse Glimmer EN
Le modèle multimodal dense 30B de Meta pour les agents locaux : distillé depuis Muse Spark, sous Apache 2.0 et quantifié pour tenir sur un GPU de 24 Go.
-
GLM-5.3-Flash EN
Le GLM multimodal sous licence MIT : 320B au total et 18B actifs, entrée images et vidéo, un contexte de 1M et une conception pensée pour servir de longs contextes à bas coût.
-
Step 3.7 Flash EN
Le mélange d'experts vision-langage 198B de StepFun sous Apache 2.0 : 11B de paramètres actifs, un contexte de 256K et un encodeur de vision de 1.8B. Il vise les agents qui lisent captures d'écran, graphiques et documents, et un GGUF de 111,5 Go tient sur un Mac ou mini PC de 128 Go.
-
Step 5 Preview EN
Le mélange d'experts 600B de StepFun avec un contexte de 1M et une entrée image, pour les agents qui analysent de longs rapports, graphiques et captures d'écran. La fiche du modèle évoque aussi la vidéo, mais sa spécification ne liste que texte et image, et la licence maison contient des clauses sur le matériel et l'hébergement.
-
MiMo-V2.6 EN
Les modèles omnimodaux pour agents de Xiaomi : un Pro de 1T, un Flash de 310B et un checkpoint de recherche de 9B, avec un contexte de 1M. La licence est étiquetée MIT.
-
Nemotron 3 Nano Omni EN
Le mélange d'experts 31B de NVIDIA avec 3B actifs accepte vidéo, audio, images et texte avec un contexte de 256K. Anglais uniquement, réponses en texte, et il tourne sur une RTX 5090 de 32 Go en NVFP4.
-
Qwen3-Omni EN
Le mélange d'experts 30B d'Alibaba avec 3B actifs lit texte, images, audio et vidéo et peut répondre en texte ou en voix dans 10 langues. Apache 2.0, mais Alibaba annonce environ 79 Go en BF16 pour un clip de 15 secondes.
-
Muse Spark Open EN
Le mélange d'experts 816B de Meta avec 42B actifs et un contexte de 1M accepte texte, image, vidéo et audio. Il utilise la licence Muse maison de Meta : lisez-la avant tout usage commercial.
-
Apertus 1.5 EN
Les modèles 8B et 70B entièrement ouverts de Swiss AI sous Apache 2.0 lisent images et audio en plus du texte, avec un contexte de 262K. Ils ne répondent qu'en texte et la compréhension audio est expérimentale.
-
LongCat-2.5 Plus récent EN
Le mélange d'experts 1.6T de Meituan sous licence MIT, avec 48B de paramètres actifs, accepte texte, images et vidéo avec un contexte de 1M de tokens. Le déploiement n'est documenté que pour les serveurs NPU.
-
LFM3 EN
La famille de Liquid AI compte un modèle de texte 1.7B au contexte de 256K qui tient en 1 Go, plus des déclinaisons vision, audio et omni. La LFM Open License n'autorise l'usage commercial qu'en dessous de 10 millions de dollars US de revenus annuels.
-
Mirage EN
Le modèle de vision 51M de Cactus Compute sous Apache 2.0 tient dans un fichier de 22 Mo : il décrit une photo, trouve des objets, lit du texte et remplit des formulaires en 74 ms sur la NPU d'un Galaxy S26. Ce n'est pas un modèle de chat, et son billet de lancement ne donne aucun benchmark de précision standard.
Comment nous choisissons
- Des modèles qui acceptent images, vidéo ou audio en entrée, avec des poids ouverts téléchargeables dès aujourd'hui.
- Versions actuelles uniquement : les modèles remplacés par une génération plus récente, comme Qwen3-VL, sont écartés.
- Les scores des benchmarks de vision viennent des développeurs eux-mêmes, nous ne classons donc pas dessus. Testez vos propres images : captures d'écran, graphiques et écriture manuscrite se comportent très différemment des photos.
- Le contexte et la licence sont affichés, car ils limitent ce que vous pouvez mettre en production.