API compatível com OpenAI

Uma API compatível com OpenAI é um servidor que aceita as mesmas requisições que a API da OpenAI, então apps escritas para ela podem usar um modelo aberto em vez dela.

  • Usando modelos
  • Atualizado

llama.cpp e vLLM oferecem um servidor assim, e front-ends como o Open WebUI podem se conectar a qualquer servidor desse tipo. Para migrar uma aplicação para um modelo local, normalmente você muda apenas a URL base e o nome do modelo, deixando o código que monta a requisição como está.

A compatibilidade é parcial. O básico, como completamentos de chat, funciona em quase todo lugar, mas recursos como chamada de ferramentas, saída estruturada e entrada de imagem variam conforme o servidor e o modelo, então teste aqueles de que você depende.

Termos relacionados

  • Inferência Inferência é o ato de executar um modelo treinado para obter uma saída, por exemplo responder a um prompt, em oposição a treiná-lo.

Todos os termos