llama.cpp

Die C/C++-Engine hinter viel lokaler KI: führt quantisierte Modelle auf fast jeder Hardware aus, mit Kommandozeilenwerkzeug und OpenAI-kompatiblem Server.

  • Lokal ausführen
  • MIT · Open Source
  • macOS, Windows, Linux
  • Verifiziert

llama.cpp ist eine Open-Source-Inferenz-Engine in reinem C/C++ ohne Abhängigkeiten. Ihr Ziel ist es, laut eigenen Worten, Sprach- und Vision-Language-Modelle mit minimalem Aufwand und starker Performance auf breiter Hardware auszuführen, lokal und in der Cloud. Apple Silicon ist ein erstklassiges Ziel, daneben werden x86-CPUs mit AVX und AMX, NVIDIA-GPUs über CUDA, AMD-GPUs über HIP sowie Vulkan, SYCL, Metal, OpenCL und weitere Backends unterstützt.

Der Haupttrick ist Quantisierung: Gewichte können mit 1,5 bis 8 Bit pro Wert gespeichert werden, was den Speicherverbrauch senkt und die Generierung beschleunigt, und hybride CPU+GPU-Inferenz erlaubt, ein Modell, das größer als der Videospeicher ist, teilweise zu beschleunigen. Modelle werden im GGUF-Format verteilt. Der Befehl llama cli lädt mit -hf ein Modell direkt von Hugging Face herunter und führt es aus, und llama serve startet einen OpenAI-kompatiblen API-Server mit eingebauter Weboberfläche.

Viele zugänglichere Werkzeuge bauen darauf auf. LM Studio sagt, es nutze llama.cpp und MLX unter der Haube, und Unsloth verwendet es, um Modelle auszuführen und zu exportieren. Wenn Sie maximale Kontrolle oder den geringsten Overhead wollen oder ein Modell auf ungewöhnlicher Hardware betreiben müssen, nehmen Sie llama.cpp direkt.

Geeignet für

  • Modelle auf CPUs, älteren GPUs, Apple Silicon und anderer ungewöhnlicher Hardware ausführen
  • Ein großes Modell mit 2-Bit- bis 6-Bit-Quantisierung in begrenzten Speicher zwängen
  • Einen kleinen, abhängigkeitsfreien lokalen Server mit OpenAI-kompatibler API aufbauen
  • Verstehen, wie lokale Inferenz wirklich funktioniert

Darauf achten

  • Es ist ein Kommandozeilenwerkzeug, die Lernkurve ist steiler als bei Ollama oder LM Studio
  • Stärkere Quantisierung spart Speicher, senkt aber die Qualität; testen Sie Ihre Aufgabe mit der geplanten Präzision
  • Unterstützung für eine brandneue Modellarchitektur kann hinter dem Release herhinken

Links