API compatible avec OpenAI

Une API compatible avec OpenAI est un serveur qui accepte les mêmes requêtes que l'API d'OpenAI, de sorte que les applications écrites pour elle peuvent utiliser un modèle ouvert à la place.

  • Utiliser les modèles
  • Mis à jour le

llama.cpp et vLLM proposent tous deux un tel serveur, et des frontaux comme Open WebUI peuvent se connecter à n'importe quel serveur de ce type. Pour passer une application à un modèle local, vous changez généralement seulement l'URL de base et le nom du modèle, en laissant intact le code qui construit la requête.

La compatibilité est partielle. Les bases, comme les complétions de chat, fonctionnent presque partout, mais des fonctionnalités comme l'appel d'outils, la sortie structurée et l'entrée d'images varient selon le serveur et le modèle ; testez donc celles dont vous dépendez.

Termes associés

  • Inférence L'inférence consiste à exécuter un modèle entraîné pour obtenir une sortie, par exemple répondre à un prompt, par opposition à son entraînement.

Tous les termes