自托管(Self-hosting)

自托管指在你能控制的硬件上运行模型,例如自己的电脑或租来的 GPU 服务器,而不是调用厂商的 API。

  • 使用模型
  • 更新于

开放权重让自托管成为可能:你下载模型并自己提供服务,单机可以用 Ollama 或 llama.cpp,服务器可以用 vLLM 或 SGLang。数据去向由你决定,你还可以微调模型,付的是硬件的钱,而不是按 token 计费。

它并不总是更便宜或更省事。无论 GPU 是否忙碌你都要付费,更新和扩容要自己处理,最大的模型还需要很多张 GPU。许多开放模型也可以通过托管 API 使用,有些许可证限制出售托管访问,所以如果你打算把模型作为服务提供,请先检查许可证。

相关术语

  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
  • 兼容 OpenAI 的 API 兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
  • 开放权重 开放权重模型是指公开了训练得到的参数(即权重)的 AI 模型,任何人都可以下载并运行,通常附带一份规定使用条件的许可证。

继续阅读

全部术语