IA sur l'appareil (on-device)
L'IA sur l'appareil signifie que le modèle s'exécute sur votre propre téléphone, ordinateur portable ou petite carte, plutôt que dans le cloud ; les données restent locales et tout fonctionne hors ligne.
Exécuter en local évite d'envoyer du texte, de l'audio ou des images privés à un serveur, fonctionne sans connexion et n'a aucun coût par requête. Les limites sont la mémoire et la vitesse : téléphones et ordinateurs portables ont de quelques à quelques dizaines de gigaoctets, donc les modèles sur appareil sont petits, environ 1 à 10 milliards de paramètres, ou des modèles de mélange d'experts qui n'activent que quelques milliards, et ils sont généralement quantifiés en 4 bits.
Parmi les exemples de ce site : les modèles E2B et E4B de Gemma 4, le LFM3 de Liquid AI, le modèle 1B de MiniCPM-V 4.7 et le Voxtral Realtime de Mistral pour la voix. Des runtimes comme llama.cpp, MLX et Ollama gèrent l'empaquetage. La consommation de batterie et la chaleur comptent sur un téléphone ; mesurez donc la vitesse sur l'appareil réel.
Termes associés
- Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.
- Mémoire unifiée La mémoire unifiée est une conception, utilisée par les puces d'Apple et quelques autres, où le CPU et le GPU partagent une même réserve de mémoire, si bien qu'un grand modèle peut en utiliser la majeure partie.
- GGUF GGUF est un format de modèle en fichier unique utilisé par llama.cpp et les outils construits dessus, qui regroupe les poids quantisés avec les informations nécessaires à leur exécution.
- VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.