GGUF
GGUF ist ein Ein-Datei-Modellformat, das llama.cpp und die darauf aufbauenden Tools verwenden, und das quantisierte Gewichte zusammen mit den nötigen Informationen zu ihrer Ausführung bündelt.
Eine GGUF-Datei enthält die Gewichte des Modells, meist quantisiert, zusammen mit seinem Tokenizer und den Einstellungen, sodass eine einzige Datei zur Ausführung genügt. Namen wie Q4_K_M geben die Quantisierungsstufe an.
llama.cpp und darauf aufbauende Tools wie LM Studio lesen GGUF-Dateien, und Unsloth kann in das Format exportieren. Viele werden auf Hugging Face vom Modellentwickler oder von Community-Mitgliedern veröffentlicht. Die Lizenz des Originalmodells gilt weiter für ein daraus erstelltes GGUF, prüfen Sie sie also vor der kommerziellen Nutzung der Datei.
Verwandte Begriffe
- Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
- VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.