Multimodales Modell
Ein multimodales Modell kann mehr als eine Art von Daten verarbeiten – etwa Text, Bilder, Audio oder Video – als Eingabe, als Ausgabe oder beides.
Vision-Language-Modelle lesen Bilder zusammen mit Text. Omni-Modelle nehmen zudem Audio und Video auf, und Bild- und Videogeneratoren erzeugen Bilder oder Clips aus Text. Jede Modellseite auf dieser Website listet die Eingabe- und Ausgabetypen auf, zum Beispiel Text und Bild rein, Text raus.
Multimodale Fähigkeiten kommen oft als zusätzliche Dateien daher: ein Vision-Encoder neben dem Sprachmodell oder ein separater Text-Encoder für einen Bildgenerator. Prüfen Sie die Downloadgröße auf der Modellseite; sie umfasst jede Komponente, die zum Ausführen des Modells nötig ist.
Verwandte Begriffe
- Diffusionsmodell Ein Diffusionsmodell erzeugt Bilder oder Videos, indem es von zufälligem Rauschen ausgeht und das Rauschen Schritt für Schritt entfernt, bis ein Bild entsteht.
- Embedding-Modell Ein Embedding-Modell verwandelt Text, Bilder oder andere Daten in eine Liste von Zahlen, die ihre Bedeutung erfasst, sodass ähnliche Elemente nahe beieinander landen.