兼容 OpenAI 的 API

兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。

  • 使用模型
  • 更新于

llama.cpp 和 vLLM 都提供这样的服务器,Open WebUI 等前端也可以连接任何这类服务器。要让应用改用本地模型,通常只需要修改基础 URL 和模型名称,构造请求的代码保持不变。

兼容只是部分的。聊天补全这类基础功能几乎处处可用,但工具调用、结构化输出和图像输入等功能因服务器和模型而异,请测试你所依赖的那些功能。

相关术语

  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。

继续阅读

全部术语