API, совместимый с OpenAI
API, совместимый с OpenAI, — это сервер, который принимает те же запросы, что и API OpenAI, поэтому приложения, написанные под неё, могут вместо неё использовать открытую модель.
llama.cpp и vLLM оба предлагают такой сервер, а фронтенды вроде Open WebUI могут подключаться к любому серверу этого рода. Чтобы перевести приложение на локальную модель, обычно достаточно поменять базовый URL и имя модели, оставив код, формирующий запрос, без изменений.
Совместимость частичная. Базовые вещи, например чат-комплишены, работают почти везде, но такие функции, как вызов инструментов, структурированный вывод и ввод изображений, различаются от сервера к серверу и от модели к модели, поэтому проверьте те, на которые вы полагаетесь.
Связанные термины
- Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.