GGUF

GGUF ist ein Ein-Datei-Modellformat, das llama.cpp und die darauf aufbauenden Tools verwenden, und das quantisierte Gewichte zusammen mit den nötigen Informationen zu ihrer Ausführung bündelt.

  • Hardware und Speicher
  • Aktualisiert

Eine GGUF-Datei enthält die Gewichte des Modells, meist quantisiert, zusammen mit seinem Tokenizer und den Einstellungen, sodass eine einzige Datei zur Ausführung genügt. Namen wie Q4_K_M geben die Quantisierungsstufe an.

llama.cpp und darauf aufbauende Tools wie LM Studio lesen GGUF-Dateien, und Unsloth kann in das Format exportieren. Viele werden auf Hugging Face vom Modellentwickler oder von Community-Mitgliedern veröffentlicht. Die Lizenz des Originalmodells gilt weiter für ein daraus erstelltes GGUF, prüfen Sie sie also vor der kommerziellen Nutzung der Datei.

Verwandte Begriffe

  • Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
  • VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.

Alle Begriffe