Inferenz
Inferenz bedeutet, ein trainiertes Modell auszuführen, um eine Ausgabe zu erhalten, etwa einen Prompt zu beantworten, im Gegensatz zum Training des Modells.
Beim Training wird ein Modell unterrichtet, indem seine Parameter über riesige Datenmengen hinweg angepasst werden; das erfordert GPU-Cluster. Die Inferenz liest nur die fertigen Gewichte und erzeugt Antworten, ist dadurch deutlich günstiger und läuft oft auf einer einzigen Maschine.
Wenn Sie ein offenes Modell mit einem Tool wie Ollama, LM Studio, llama.cpp oder vLLM ausführen, betreiben Sie Inferenz. Wie schnell es läuft, hängt von der Speicherkapazität, der Speicherbandbreite und der verwendeten Engine ab.
Verwandte Begriffe
- Fine-Tuning (Feinabstimmung) Beim Fine-Tuning wird das Training eines vortrainierten Modells mit Ihren eigenen Beispielen fortgesetzt, damit es sich bei einer bestimmten Aufgabe, einem Stil oder einem Fachgebiet besser verhält.
- Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
- VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.