Auto-hébergement (Self-hosting)

L'auto-hébergement consiste à exécuter un modèle sur un matériel que vous contrôlez, comme votre propre PC ou un serveur GPU loué, au lieu d'appeler l'API d'un fournisseur.

  • Utiliser les modèles
  • Mis à jour le

Les poids ouverts rendent l'auto-hébergement possible : vous téléchargez le modèle et vous le servez vous-même, avec un outil comme Ollama ou llama.cpp sur une seule machine, ou vLLM ou SGLang sur un serveur. Vous décidez où vont les données et vous pouvez affiner le modèle (fine-tuning), et vous payez du matériel plutôt que des frais par token.

Ce n'est pas toujours moins cher ni plus simple. Vous payez les GPU qu'ils soient occupés ou non, vous gérez vous-même les mises à jour et la montée en charge, et les plus grands modèles nécessitent de nombreux GPU. De nombreux modèles ouverts peuvent aussi être utilisés via des API hébergées, et certaines licences restreignent la vente d'un accès hébergé ; vérifiez donc la licence si vous prévoyez d'offrir un modèle en tant que service.

Termes associés

  • Inférence L'inférence consiste à exécuter un modèle entraîné pour obtenir une sortie, par exemple répondre à un prompt, par opposition à son entraînement.
  • API compatible avec OpenAI Une API compatible avec OpenAI est un serveur qui accepte les mêmes requêtes que l'API d'OpenAI, de sorte que les applications écrites pour elle peuvent utiliser un modèle ouvert à la place.
  • VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.
  • Poids ouverts (open weights) Un modèle à poids ouverts est un modèle d'IA dont les paramètres entraînés, appelés poids, sont publiés afin que chacun puisse le télécharger et l'exécuter, généralement sous une licence qui fixe les conditions d'utilisation.

Tous les termes