Vision-Language-Modell (VLM)

Ein Vision-Language-Modell liest Bilder, und oft auch Video, zusammen mit Text, sodass Sie Fragen zu einem Foto, einem Screenshot oder einer Dokumentseite stellen können.

  • Modelle und Architektur
  • Aktualisiert

Ein VLM kombiniert ein Sprachmodell mit einem Vision-Encoder, der ein Bild in Token umwandelt, die das Sprachmodell lesen kann. Die Ausgabe ist Text, ein VLM kann also ein Foto beschreiben, ein Diagramm lesen, Fragen zu einem Screenshot beantworten oder eine Seite in Markdown umwandeln. Der Begriff ist enger als multimodales Modell, das auch Audio und die Erzeugung von Bildern oder Sprache umfasst.

Viele Veröffentlichungen 2026 sind standardmäßig VLMs, zum Beispiel Qwen3.5, Gemma 4 und Mistral Large 4. Die OCR-Modelle auf dieser Seite sind kleine VLMs, die für eine einzige Aufgabe trainiert wurden: Dokumente lesen. Prüfen Sie die Eingabe-Spalte auf jeder Modellseite, denn Bildeingabe bedeutet nicht Video- oder Audioeingabe.

Verwandte Begriffe

  • Multimodales Modell Ein multimodales Modell kann mehr als eine Art von Daten verarbeiten – etwa Text, Bilder, Audio oder Video – als Eingabe, als Ausgabe oder beides.
  • OCR und Dokumentenanalyse OCR macht aus einem Bild von Text echten Text; die Dokumentenanalyse geht weiter und rekonstruiert Tabellen, Formeln, Diagramme und Lesereihenfolge, meist als Markdown.
  • Token Ein Token ist ein kleines Stück Text, oft ein Wort oder ein Teil eines Wortes, das ein Sprachmodell liest und schreibt; Modelle messen Länge und Geschwindigkeit in Token.

Alle Begriffe