On-Device-KI

On-Device-KI bedeutet, dass das Modell auf Ihrem eigenen Handy, Laptop oder kleinen Board läuft statt in der Cloud, sodass Daten lokal bleiben und alles offline funktioniert.

  • Modelle verwenden
  • Aktualisiert

Lokales Ausführen vermeidet das Senden privater Texte, Audios oder Bilder an einen Server, funktioniert ohne Verbindung und kostet nichts pro Anfrage. Die Grenzen sind Speicher und Tempo: Handys und Laptops haben einige bis einige Dutzend Gigabyte, daher sind On-Device-Modelle klein, etwa 1 bis 10 Milliarden Parameter oder Mixture-of-Experts-Modelle, die nur einige Milliarden aktivieren, und meist auf 4 Bit quantisiert.

Beispiele auf dieser Website sind die Modelle E2B und E4B von Gemma 4, Liquid AIs LFM3, das 1B-Modell von MiniCPM-V 4.7 und Mistrals Voxtral Realtime für Sprache. Runtimes wie llama.cpp, MLX und Ollama übernehmen die Verpackung. Akkuverbrauch und Wärme zählen bei Handys; messen Sie die Geschwindigkeit daher auf dem echten Gerät.

Verwandte Begriffe

  • Quantisierung Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, um Speicherverbrauch zu senken und Inferenz zu beschleunigen – mit kleinem Qualitätsverlust.
  • Unified Memory Unified Memory ist ein Design, das Apple-Silicon und einige andere Chips verwenden: CPU und GPU teilen sich einen gemeinsamen Speicher, sodass ein großes Modell den Großteil davon nutzen kann.
  • GGUF GGUF ist ein Ein-Datei-Modellformat, das llama.cpp und die darauf aufbauenden Tools verwenden, und das quantisierte Gewichte zusammen mit den nötigen Informationen zu ihrer Ausführung bündelt.
  • VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.

Alle Begriffe