On-Device-KI
On-Device-KI bedeutet, dass das Modell auf Ihrem eigenen Handy, Laptop oder kleinen Board läuft statt in der Cloud, sodass Daten lokal bleiben und alles offline funktioniert.
Lokales Ausführen vermeidet das Senden privater Texte, Audios oder Bilder an einen Server, funktioniert ohne Verbindung und kostet nichts pro Anfrage. Die Grenzen sind Speicher und Tempo: Handys und Laptops haben einige bis einige Dutzend Gigabyte, daher sind On-Device-Modelle klein, etwa 1 bis 10 Milliarden Parameter oder Mixture-of-Experts-Modelle, die nur einige Milliarden aktivieren, und meist auf 4 Bit quantisiert.
Beispiele auf dieser Website sind die Modelle E2B und E4B von Gemma 4, Liquid AIs LFM3, das 1B-Modell von MiniCPM-V 4.7 und Mistrals Voxtral Realtime für Sprache. Runtimes wie llama.cpp, MLX und Ollama übernehmen die Verpackung. Akkuverbrauch und Wärme zählen bei Handys; messen Sie die Geschwindigkeit daher auf dem echten Gerät.
Verwandte Begriffe
- Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
- Unified Memory Unified Memory ist ein Design, das Apple-Silicon und einige andere Chips verwenden: CPU und GPU teilen sich einen gemeinsamen Speicher, sodass ein großes Modell den Großteil davon nutzen kann.
- GGUF GGUF ist ein Ein-Datei-Modellformat, das llama.cpp und die darauf aufbauenden Tools verwenden, und das quantisierte Gewichte zusammen mit den nötigen Informationen zu ihrer Ausführung bündelt.
- VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.