API compatible con OpenAI

Una API compatible con OpenAI es un servidor que acepta las mismas peticiones que la API de OpenAI, así que las apps escritas para ella pueden usar un modelo abierto en su lugar.

  • Uso de modelos
  • Actualización

llama.cpp y vLLM ofrecen ambos un servidor así, y frontales como Open WebUI pueden conectarse a cualquier servidor de este tipo. Para pasar una aplicación a un modelo local normalmente solo cambias la URL base y el nombre del modelo, y dejas intacto el código que construye la petición.

La compatibilidad es parcial. Lo básico, como las completaciones de chat, funciona casi en todas partes, pero características como la llamada de herramientas, la salida estructurada y la entrada de imágenes varían según el servidor y el modelo, así que prueba aquellas de las que dependas.

Términos relacionados

  • Inferencia La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.

Todos los términos