Glossar

Zuerst die kurze Definition, dann die Details. Die Begriffe sind miteinander verlinkt.

Grundlagen

Hugging Face
Hugging Face ist die Website, auf der die meisten offenen Modelle veröffentlicht werden: Jedes Modell hat eine Seite mit seinen Dateien, seiner Lizenz, seiner Model Card und seiner Download-Zahl.
Inferenz
Inferenz bedeutet, ein trainiertes Modell auszuführen, um eine Ausgabe zu erhalten, etwa einen Prompt zu beantworten, im Gegensatz zum Training des Modells.
Kontextfenster
Das Kontextfenster ist die maximale Textmenge, gemessen in Tokens, die ein Modell auf einmal berücksichtigen kann, einschließlich Ihres Prompts und seiner eigenen Antwort.
Maschinelle Übersetzung
Maschinelle Übersetzung ist Software, die Text, Sprache oder Text in Bildern aus einer Sprache in eine andere übersetzt. Die heutigen offenen Modelle gehen meist von einem allgemeinen Modell aus und werden dann nur noch zum Übersetzen trainiert.
Offene Gewichte (Open Weights)
Ein Modell mit offenen Gewichten ist ein KI-Modell, dessen trainierte Parameter, die Gewichte, veröffentlicht sind, sodass jeder es herunterladen und ausführen kann, meist unter einer Lizenz, die die Nutzungsbedingungen festlegt.
Parameter
Parameter sind die Zahlen in einem Modell, die während des Trainings angepasst werden; ihre Anzahl, etwa 7B oder 70B, ist das übliche Maß für die Größe eines Modells.
Reinforcement Learning (RL)
Reinforcement Learning trainiert ein Modell, indem es gute Ergebnisse belohnt, etwa eine richtige Antwort oder bestandene Tests, statt Beispieltext nachzuahmen.
Sovereign AI
Sovereign AI bezeichnet KI, die ein Land oder eine Organisation selbst aufbauen, hosten und unter eigener Kontrolle regeln kann – von der Rechenleistung und den Daten bis zum Modell selbst.
Token
Ein Token ist ein kleines Stück Text, oft ein Wort oder ein Teil eines Wortes, das ein Sprachmodell liest und schreibt; Modelle messen Länge und Geschwindigkeit in Token.

Modelle und Architektur

Basismodell (Base model)
Ein Basismodell ist das rohe Ergebnis des Pretrainings, bevor es gelernt hat, Anweisungen zu befolgen oder zu chatten; es ist der übliche Ausgangspunkt fürs Fine-Tuning.
Destillation
Bei der Destillation wird ein kleineres Schülermodell darauf trainiert, ein größeres Lehrermodell nachzuahmen, und behält dabei bei einem Bruchteil der Größe einen Großteil dessen Fähigkeiten.
Dichtes Modell
Ein dichtes Modell verwendet alle seine Parameter, um jeden Token zu verarbeiten, anders als ein Mixture-of-Experts-Modell, das nur einen Teil davon aktiviert.
Diffusionsmodell
Ein Diffusionsmodell erzeugt Bilder oder Videos, indem es von zufälligem Rauschen ausgeht und das Rauschen Schritt für Schritt entfernt, bis ein Bild entsteht.
Effiziente Aufmerksamkeit (Sparse, Linear und Hybrid)
Effiziente Attention-Designs ermöglichen es einem Modell, sehr lange Eingaben mit deutlich weniger Speicher und Rechenleistung als Standard-Attention zu verarbeiten, indem es weniger Tokens betrachtet oder die Vergangenheit komprimiert.
Embedding-Modell
Ein Embedding-Modell verwandelt Text, Bilder oder andere Daten in eine Liste von Zahlen, die ihre Bedeutung erfasst, sodass ähnliche Elemente nahe beieinander landen.
Entscheidungsmodell
Ein Entscheidungsmodell liest eine Situation und eine Liste von Fragen und liefert für jede erlaubte Antwort eine Wahrscheinlichkeit zurück, statt Text zu schreiben.
KI-Agent
Ein KI-Agent ist ein System, in dem ein Modell mehrstufige Aufgaben plant und ausführt, indem es Tools aufruft, etwa Code ausführen, das Web durchsuchen oder Dateien bearbeiten.
Looped Transformer (Schleifen-Transformer)
Ein Looped Transformer führt einige seiner eigenen Schichten pro Token mehrfach erneut aus und erhält dadurch mehr Rechenleistung, ohne mehr Parameter zu speichern.
Matryoshka-Embeddings
Matryoshka-Embeddings werden so trainiert, dass der vordere Teil des Vektors für sich allein funktioniert, sodass Sie den Vektor kürzen können, um Speicher und Suchzeit zu sparen.
Mixture of Experts (MoE)
Ein Mixture-of-Experts-Modell enthält viele spezialisierte Teilnetzwerke und nutzt pro Token nur wenige davon, wodurch es sehr groß und trotzdem schnell sein kann.
Multimodales Modell
Ein multimodales Modell kann mehr als eine Art von Daten verarbeiten – etwa Text, Bilder, Audio oder Video – als Eingabe, als Ausgabe oder beides.
Musikgenerierung
Musikgenerierungs-Modelle verwandeln eine Textbeschreibung, oft auch Liedtexte, in Audio: komplette Songs mit Gesang, Instrumentalstücke, Live-Streams von Musik oder Soundeffekte.
OCR und Dokumentenanalyse
OCR macht aus einem Bild von Text echten Text; die Dokumentenanalyse geht weiter und rekonstruiert Tabellen, Formeln, Diagramme und Lesereihenfolge, meist als Markdown.
Reasoning-Modell
Ein Reasoning-Modell arbeitet ein Problem Schritt für Schritt in einer sichtbaren oder verborgenen „Denk“-Phase durch, bevor es seine endgültige Antwort gibt.
Reranker
Ein Reranker bewertet eine kurze Liste von Suchergebnissen neu, indem er die Frage und jedes Ergebnis zusammen liest – langsamer, aber genauer als Embeddings allein.
Spracherkennung (ASR, Speech-to-Text)
Spracherkennung, auch ASR oder Speech-to-Text genannt, wandelt gesprochenes Audio in geschriebenen Text um.
Sprecher-Diarisierung (Sprecher-Labels)
Diarisierung ermittelt, wer in einer Aufnahme wann gesprochen hat, und versieht jeden Sprachabschnitt mit einem Sprecher, etwa Sprecher 1 und Sprecher 2.
Text-Encoder
In einem Bild- oder Videogenerator ist der Text-Encoder ein separates Sprachmodell, das Ihren Prompt in Zahlen umwandelt, mit denen der Generator arbeiten kann. Er vergrößert Download und Speichernutzung.
Text-to-Speech (TTS)
Text-to-Speech-Modelle verwandeln geschriebenen Text in gesprochenes Audio, und viele können eine Stimme aus einer kurzen Stichprobe kopieren.
Vision-Language-Modell (VLM)
Ein Vision-Language-Modell liest Bilder, und oft auch Video, zusammen mit Text, sodass Sie Fragen zu einem Foto, einem Screenshot oder einer Dokumentseite stellen können.

Hardware und Speicher

GGUF
GGUF ist ein Ein-Datei-Modellformat, das llama.cpp und die darauf aufbauenden Tools verwenden, und das quantisierte Gewichte zusammen mit den nötigen Informationen zu ihrer Ausführung bündelt.
KV-Cache
Der KV-Cache ist der Speicher, den ein Modell nutzt, um sich die früheren Tokens einer Konversation zu merken, und er wächst mit der Länge des Kontexts.
Präzision (BF16, FP8, INT4)
Präzision ist, wie viele Bits zur Speicherung jeder Zahl in einem Modell verwendet werden, etwa 16-Bit-BF16, 8-Bit-FP8 oder 4-Bit-INT4; weniger Bits bedeuten ein kleineres, schnelleres Modell.
Quantisierung
Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
Quantization-Aware Training (QAT)
Quantization-Aware Training bringt einem Modell schon während des Trainings bei, mit niedrigpräzisen Gewichten zu arbeiten, sodass es bei 4 Bit weniger Qualität verliert als ein nachträglich gestauchtes Modell.
Speculative Decoding und Multi-Token-Prediction
Speculative Decoding beschleunigt die Texterzeugung, indem ein billiger Entwurf mehrere Token im Voraus rät und das volle Modell sie alle auf einmal prüft.
Ternäre Gewichte (1,58 Bit)
Ternäre Gewichte beschränken jedes Modellgewicht auf einen von drei Werten, -1, 0 oder +1, sodass ein Modell weniger als 2 Bit pro Gewicht statt 16 braucht.
Unified Memory
Unified Memory ist ein Design, das Apple-Silicon und einige andere Chips verwenden: CPU und GPU teilen sich einen gemeinsamen Speicher, sodass ein großes Modell den Großteil davon nutzen kann.
VRAM
VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.

Lizenzierung

Gated Model (Modell mit Zugangsbeschränkung)
Ein Gated Model ist ein offenes Modell, dessen Download auf Hugging Face verlangt, dass Sie sich zuerst anmelden und die Bedingungen akzeptieren oder Zugang beantragen.
Gebietsbeschränkung
Eine Gebietsbeschränkung legt fest, wo eine Lizenz gültig ist: Die Nutzung des Modells in den ausgeschlossenen Ländern oder Regionen ist nicht lizenziert.
Nicht-kommerzielle Lizenz
Eine nicht-kommerzielle Lizenz erlaubt die Nutzung eines Modells für Forschung, Studium und private Projekte, aber nicht, damit Geld zu verdienen.
Open-Source-KI
Open-Source-KI ist laut der Definition der Open Source Initiative ein KI-System, das Sie frei verwenden, studieren, verändern und teilen dürfen, mit den Gewichten, dem Code und detaillierten Informationen zu den Trainingsdaten, die alle verfügbar sind.
OpenRAIL (Responsible-AI-Lizenz)
OpenRAIL ist eine Familie von Lizenzen, die Ihnen die Nutzung, Veränderung und Weitergabe eines Modells erlauben, auch kommerziell, aber verlangen, dass jede Kopie und jedes Derivat eine Liste verbotener Nutzungen mitführt.
Permissive Lizenz
Eine permissive Lizenz, etwa Apache 2.0 oder MIT, erlaubt Ihnen die Nutzung, Veränderung und den Verkauf eines Modells mit sehr wenigen Bedingungen, meist nur dem Bewahren eines Hinweises.
Umsatzobergrenze (Revenue Cap)
Eine Umsatzobergrenze ist eine Lizenzbedingung, die ein Modell unterhalb eines bestimmten Einkommens kostenlos macht und oberhalb eine gesonderte Vereinbarung verlangt.

Modelle verwenden

Agent zur Computerbedienung (Computer-use agent)
Ein Agent zur Computerbedienung sieht Screenshots an und bedient den Computer wie ein Mensch: durch Klicken, Tippen und Scrollen, manchmal auch durch Ausführen von Shell-Befehlen oder Code.
Agenten-Gedächtnis (Agent memory)
Ein Agenten-Gedächtnis ermöglicht es einem KI-Agenten, Fakten, Präferenzen und frühere Erfahrungen über Sitzungen hinweg zu behalten, statt jedes Mal mit leerem Kontext zu starten.
Agentisches Programmieren (Agentic coding)
Agentisches Programmieren bedeutet, dass ein Modell wie ein Entwickler an Software arbeitet: es liest die Codebasis, bearbeitet Dateien, führt Befehle und Tests aus und arbeitet weiter, bis die Aufgabe erledigt ist.
Benchmark
Ein Benchmark ist ein standardisierter Test zum Vergleich von Modellen, etwa ein Satz Mathe-, Coding- oder Wissensfragen; die Scores sind nützlich, aber leicht überzuinterpretieren.
Classifier-Free Guidance (CFG)
Classifier-Free Guidance, meist kurz CFG, ist eine Einstellung bei Diffusionsmodellen, die steuert, wie streng das Ergebnis Ihrem Prompt folgt – auf Kosten zusätzlicher Rechenleistung.
Fine-Tuning (Feinabstimmung)
Beim Fine-Tuning wird das Training eines vortrainierten Modells mit Ihren eigenen Beispielen fortgesetzt, damit es sich bei einer bestimmten Aufgabe, einem Stil oder einem Fachgebiet besser verhält.
Halluzination
Eine Halluzination ist eine selbstbewusst geäußerte, aber falsche oder erfundene Aussage eines KI-Modells.
LoRA (Low-Rank-Adaption)
LoRA, kurz für Low-Rank Adaptation, feinjustiert ein Modell, indem es einen kleinen Satz hinzugefügter Gewichte trainiert, statt alle Parameter zu verändern.
MTEB (Embedding-Benchmark)
MTEB, das Massive Text Embedding Benchmark, bewertet Embedding-Modelle in vielen Aufgaben wie Suche, Klassifikation und Clustering, und seine öffentliche Rangliste ist eine gängige Art, sie zu vergleichen.
OmniDocBench
OmniDocBench ist ein Benchmark für Dokumentenanalyse: Er bewertet, wie gut ein Modell PDF-Seiten vieler Arten in Text, Tabellen und Formeln umwandelt.
On-Device-KI
On-Device-KI bedeutet, dass das Modell auf Ihrem eigenen Handy, Laptop oder kleinen Board läuft statt in der Cloud, sodass Daten lokal bleiben und alles offline funktioniert.
OpenAI-kompatible API
Eine OpenAI-kompatible API ist ein Server, der dieselben Anfragen wie die OpenAI-API akzeptiert, sodass Apps, die dafür geschrieben wurden, stattdessen ein offenes Modell nutzen können.
Retrieval-Augmented Generation (RAG)
Retrieval-Augmented Generation ermöglicht einem Modell, aus Ihren eigenen Dokumenten zu antworten, indem es die passenden Passagen abruft und in den Prompt einfügt.
Sampling-Schritte
Sampling-Schritte sind die Anzahl der Durchläufe, die ein Diffusionsmodell braucht, um aus Rauschen ein Bild oder Video zu machen. Weniger Schritte heißt schnellere Ergebnisse, meist mit etwas Verlust an Detail oder Vielfalt.
Self-Hosting
Self-Hosting bedeutet, ein Modell auf Hardware auszuführen, die Sie selbst kontrollieren – etwa Ihrem eigenen PC oder einem gemieteten GPU-Server – statt die API eines Anbieters aufzurufen.
Tool Calling (Function Calling)
Tool Calling erlaubt einem Modell, Ihr Programm auszuführen zu bitten, etwa eine Suche oder einen Taschenrechner, und das Ergebnis in seiner Antwort zu verwenden.
Übersetzungsmetriken
Übersetzungsmetriken sind die Scores, mit denen Modellkarten eine Übersetzung bewerten. Manche zählen die Übereinstimmung mit einer menschlichen Referenz, andere nutzen ein trainiertes Modell oder menschliche Prüfer, und ihre Skalen sind nicht vergleichbar.
Voice Cloning
Beim Voice Cloning spricht ein Text-to-Speech-Modell mit der Stimme einer bestimmten Person, oft auf Basis von nur wenigen Sekunden Aufnahme.
Wortfehlerrate (WER)
Die Wortfehlerrate ist die Standardbewertung für Spracherkennung: der Anteil der Wörter in einem Transkript, die gegenüber einer korrekten Referenz falsch, fehlend oder überzählig sind.