Die besten Open-Source-Multimodalmodelle 2026 (Bilder, Video und Audio)
Die meisten neuen offenen Flaggschiffe auf dieser Seite lesen Bilder, viele nehmen auch Video oder Audio entgegen. Diese Liste versammelt die offenen Modelle, für die das ein Hauptmerkmal ist – von smartphonegroß bis servergroß – und zeigt, welche Lizenzen den produktiven Einsatz erlauben.
-
Gemma 4 EN
Googles Apache-2.0-Familie, vom smartphonegroßen E2B bis zum 31B-Flaggschiff. Sie nimmt Text, Bilder, Video und Audio entgegen und beherrscht Reasoning und Tool-Nutzung.
-
Qwen3.8-27B EN
Ein dichtes 27B-Modell unter Apache 2.0, das Bilder und Video liest, in Denkschritten argumentiert und auf eine GPU passt.
-
Qwen3.6 EN
Alibabas Apache-2.0-Duo Qwen3.6: ein Mixture-of-Experts-Modell mit 35B (3B aktiv) und ein dichtes 27B-Modell; beide nehmen Bild und Video entgegen und sind für agentisches Programmieren abgestimmt.
-
Qwen3.5 EN
Alibabas Apache-2.0-Familie reicht von 0.8B bis 397B, mit Bild- und Videoeingabe, 201 Sprachen und 256K Kontext.
-
MiniCPM-V 4.7 EN
OpenBMBs smartphonefreundliche Modelle unter Apache 2.0: ein 35B-A3B-Mixture-of-Experts und ein 1B-Modell, beide mit Bildern und Video.
-
MiniCPM-o 4.5 EN
OpenBMBs 9B-Modell unter Apache 2.0 sieht, hört und spricht zugleich. Es nimmt Video und Audio live entgegen und antwortet in Text sowie englischer oder chinesischer Sprache; OpenBMB nennt 11 GB GPU-Speicher bei int4.
-
Mage-VL EN
Microsofts 4B-Vision-Sprachmodell unter Apache 2.0 liest Video wie ein Codec, senkt die visuellen Tokens um mehr als 75 % und hat ein Gate für Livestreams. Nach Microsofts Tabellen liegt es bei den meisten Video- und Raumtests vor Qwen3-VL-4B.
-
LocateAnything-3B EN
NVIDIAs 3B-Modell antwortet mit Boxen und Punkten für Objekte, GUI-Elemente und Text – laut NVIDIA 12,7 Boxen pro Sekunde auf einer H100. Die Lizenz gilt nur für die Forschung.
-
Ternary Bonsai 2 EN
PrismMLs Vision-Sprachmodelle mit ternären Gewichten: von einem 2B-Modell mit 0,43 GB bis zu einem Modell der 27B-Klasse mit 5,95 GB, unter Apache 2.0. Sie nehmen Bilder und Text entgegen.
-
SenseNova-Loop-9B-Preview EN
SenseTimes 9B-Loop-Vision-Sprachvorschau unter Apache 2.0: Layer 4 bis 27 laufen doppelt, mit Text- und Bildeingabe und 256K Kontext. Sie braucht eigenen Code, und die veröffentlichten Scores sind gegenüber Qwen3.5-27B gemischt.
-
Muse Glimmer EN
Metas dichtes 30B-Multimodalmodell für lokale Agents: aus Muse Spark destilliert, unter Apache 2.0 und so quantisiert, dass es auf eine 24-GB-GPU passt.
-
GLM-5.3-Flash EN
Das multimodale GLM unter MIT-Lizenz: 320B gesamt und 18B aktiv, Bild- und Videoeingabe, 1M Kontext, gebaut für günstiges Serving langer Kontexte.
-
Step 3.7 Flash EN
StepFuns 198B-Vision-Sprach-Mixture-of-Experts unter Apache 2.0: 11B aktive Parameter, 256K Kontext und ein 1.8B-Vision-Encoder. Es richtet sich an Agents, die Screenshots, Diagramme und Dokumente lesen, und ein 111,5-GB-GGUF passt auf einen 128-GB-Mac oder Mini-PC.
-
Step 5 Preview EN
StepFuns 600B-Mixture-of-Experts mit 1M Kontext und Bildeingabe, für Agents, die lange Berichte, Diagramme und Screenshots analysieren. Die Modellkarte erwähnt auch Video, doch die Spezifikation listet nur Text und Bild, und die eigene Lizenz enthält Hardware- und Hosting-Klauseln.
-
MiMo-V2.6 EN
Xiaomis omnimodale Agent-Modelle: ein 1T Pro, ein 310B Flash und ein 9B-Forschungs-Checkpoint, mit 1M Kontext. Die Lizenz ist mit MIT markiert.
-
Nemotron 3 Nano Omni EN
NVIDIAs 31B-Mixture-of-Experts mit 3B aktiv nimmt Video, Audio, Bilder und Text mit 256K Kontext entgegen. Nur Englisch, Antworten in Text, und es läuft auf einer 32-GB-RTX 5090 in NVFP4.
-
Qwen3-Omni EN
Alibabas 30B-Mixture-of-Experts mit 3B aktiv liest Text, Bilder, Audio und Video und kann in 10 Sprachen per Text oder Sprache antworten. Apache 2.0, aber Alibaba nennt rund 79 GB in BF16 für einen 15-Sekunden-Clip.
-
Muse Spark Open EN
Metas 816B-Mixture-of-Experts mit 42B aktiv und 1M Kontext nimmt Text, Bild, Video und Audio entgegen. Es nutzt Metas eigene Muse-Lizenz: vor kommerzieller Nutzung unbedingt lesen.
-
Apertus 1.5 EN
Swiss AIs vollständig offene 8B- und 70B-Modelle unter Apache 2.0 lesen Bilder und Audio zusätzlich zu Text, mit 262K Kontext. Sie antworten nur in Text, und das Audio-Verständnis ist experimentell.
-
LongCat-2.5 Neuestes EN
Meituans 1.6T-Mixture-of-Experts unter MIT-Lizenz mit 48B aktiven Parametern nimmt Text, Bilder und Video mit 1M-Token-Kontext entgegen. Das Deployment ist nur für NPU-Server dokumentiert.
-
LFM3 EN
Liquid AIs Familie umfasst ein 1.7B-Textmodell mit 256K Kontext, das in 1 GB passt, dazu Vision-, Audio- und Omni-Geschwister. Die LFM Open License erlaubt kommerzielle Nutzung nur bei weniger als 10 Mio. US-Dollar Jahresumsatz.
-
Mirage EN
Cactus Computes 51M-Visionmodell unter Apache 2.0 passt in eine 22-MB-Datei: Es beschreibt ein Foto, findet Objekte, liest Text und füllt Formulare in 74 ms auf der NPU eines Galaxy S26. Es ist kein Chat-Modell, und der Launch-Post nennt keine Standard-Genauigkeitsbenchmarks.
So haben wir ausgewählt
- Modelle, die Bilder, Video oder Audio als Eingabe akzeptieren und deren offene Gewichte man heute herunterladen kann.
- Nur aktuelle Versionen: Modelle, die von einer neueren Generation abgelöst wurden, etwa Qwen3-VL, bleiben außen vor.
- Vision-Benchmark-Scores stammen von den Entwicklern selbst, deshalb ranken wir nicht danach. Probieren Sie eigene Bilder: Screenshots, Diagramme und Handschrift verhalten sich ganz anders als Fotos.
- Kontextlänge und Lizenz werden angezeigt, weil sie begrenzen, was Sie ausliefern können.