OpenAI-kompatible API
Eine OpenAI-kompatible API ist ein Server, der dieselben Anfragen wie die OpenAI-API akzeptiert, sodass Apps, die dafür geschrieben wurden, stattdessen ein offenes Modell nutzen können.
llama.cpp und vLLM bieten beide einen solchen Server an, und Frontends wie Open WebUI können sich mit jedem Server dieser Art verbinden. Um eine Anwendung auf ein lokales Modell umzustellen, ändern Sie meist nur die Basis-URL und den Modellnamen und lassen den Code, der die Anfrage baut, unverändert.
Die Kompatibilität ist teilweise. Die Grundlagen, etwa Chat-Completions, funktionieren fast überall, aber Funktionen wie Tool Calling, strukturierte Ausgabe und Bildeingabe variieren je nach Server und Modell. Testen Sie also die, auf die Sie sich verlassen.
Verwandte Begriffe
- Inferenz Inferenz bedeutet, ein trainiertes Modell auszuführen, um eine Ausgabe zu erhalten, etwa einen Prompt zu beantworten, im Gegensatz zum Training des Modells.