兼容 OpenAI 的 API
兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。
llama.cpp 和 vLLM 都提供这样的服务器,Open WebUI 等前端也可以连接任何这类服务器。要让应用改用本地模型,通常只需要修改基础 URL 和模型名称,构造请求的代码保持不变。
兼容只是部分的。聊天补全这类基础功能几乎处处可用,但工具调用、结构化输出和图像输入等功能因服务器和模型而异,请测试你所依赖的那些功能。
相关术语
- 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。