Inférence
L'inférence consiste à exécuter un modèle entraîné pour obtenir une sortie, par exemple répondre à un prompt, par opposition à son entraînement.
L'entraînement enseigne à un modèle en ajustant ses paramètres sur d'immenses volumes de données, et il exige des clusters de GPU. L'inférence lit simplement les poids finis et produit des réponses ; elle est donc bien moins chère et peut souvent tourner sur une seule machine.
Quand vous exécutez un modèle ouvert avec un outil comme Ollama, LM Studio, llama.cpp ou vLLM, vous faites de l'inférence. Sa vitesse dépend de la capacité mémoire, de la bande passante mémoire et du moteur utilisé.
Termes associés
- Fine-tuning (ajustement fin) Le fine-tuning poursuit l'entraînement d'un modèle pré-entraîné sur vos propres exemples pour qu'il se comporte mieux sur une tâche, un style ou un domaine précis.
- Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.
- VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.