自托管开放模型还是使用 API:怎么选

自己运行开放模型,还是调用托管 API?对比隐私、成本结构、硬件、许可证和维护工作,附决策清单和真实的内存数据。

  • 进阶
  • 阅读约 7 分钟
  • 发布于
  • 更新于

简短回答。 当数据必须由你掌控、用量稳定且很大,或需要微调模型、固定模型版本时,自托管开放模型。当用量较低或不均匀、想用最大的模型却不想买 GPU,或需要尽快上线时,用 API。许多团队先从 API 起步,再把稳定的那部分工作负载迁到开放权重上,而这恰恰是开放权重所能做到的。

使用模型的三种方式

  1. 闭源模型的厂商 API。 你发送请求,按用量付费,既看不到也留不住模型。
  2. 开放模型的托管 API。 服务商替你运行开放权重。你得到按用量计费,以及开放模型的许可证,硬件由服务商处理。
  3. 自托管。 你在自己的电脑或租来的 GPU 服务器上运行模型,单机用 Ollama 或 llama.cpp,服务器上用 vLLM 或 SGLang。

后两种之所以可能,是因为权重是开放的,而只有最后一种把文件和硬件都放在你的掌控之下。

自托管占优的时候

  • 国家或机构层面的掌控。 追求自主 AI的项目出于同样的原因依赖开放权重。我们的欧洲研发和韩国研发开放模型榜单展示了现有的选择。
  • 微调。 手里有权重,就可以用自己的数据微调,并留住成果。
  • 固定版本。 托管的模型名称可能被重新指向更新的模型,所以你固定在某个名称上的测试可能会变。例如 DeepSeek 旧的 API 名称现在由新模型提供服务,如何自己评估 AI 模型中有说明。而你磁盘上的文件不会变。
  • 离线或私有网络。 模型无需联网就能运行。
  • 稳定的大用量。 你为硬件付费,而不是按 token 付费,当 GPU 一直在忙时可能更便宜。

API 占优的时候

  • 用量低或不均匀。 GPU 无论忙闲,费用都一样。
  • 最大的模型。 有些开放模型对大多数预算来说都太大了,下一节会说明。
  • 上线速度。 API 不需要硬件、驱动或服务栈。
  • 没有运维团队。 自托管意味着更新、扩容、监控和故障都由你来处理。
  • 试用很多模型。 有了 API,几分钟就能测试一个新发布的模型。

硬件在实践中意味着什么

内存决定你能运行什么。下表是按我们的估算,在 4 位精度下的最小内存,不含长提示词的 KV 缓存,挑选了有代表性的模型。我们的显存计算器和指南我需要多少内存给出了计算方法。

级别 示例 最小内存(我们的 4 位估算) 典型硬件
小型 Gemma 4 E4B 约 5.5 GB 手机、笔记本或小型 GPU
中型 gpt-oss-20b 约 15 GB 一张消费级 GPU 或一台 Mac
中型 Qwen3.6 27B 和 35B-A3B 约 19 GB 和 25 GB 24 到 48 GB 的 GPU 或大内存 Mac
大型 gpt-oss-120b 约 72 GB 一张 80 GB GPU,或几张较小的 GPU
大型 Hy3(295B) 约 204 GB 多 GPU 服务器
大型 DeepSeek V4 Flash(284B) 约 184 GB 多 GPU 服务器
巨型 DeepSeek V4 Pro(1.6T) 约 982 GB 大型多 GPU 集群

Nemotron 3.5 Lightning 是为一张 80 GB 的 H100 设计的,我们的按显存和硬件查找开源 AI 模型榜单会按你拥有的内存对整个目录排序。

许可证与托管条款

在自己公司内部运行开放模型,几乎所有许可证都允许。需要注意的条件出现在其他情形:

AI 许可证详解里有一份上线前要过一遍的清单。

把成本当作公式来想

价格变得太快,没法给出具体数字,所以用一个公式。把你每月的服务器成本(包括电费或租金),加上维护它的人的时间,和 API 每 token 的价格乘以你每月使用的 token 数相比较。只有服务器一天中大部分时间都在忙,自托管才能回本。请用你真实的流量模式测试,并把峰值算进去,因为按峰值配置的服务器在安静的时段会闲置。

混合路线能保留选择

上面的大多数工具都提供兼容 OpenAI 的 API,所以你只需改一个网址和模型名,就能在托管模型和自己的模型之间切换。合理的路径是先用 API 做原型,建立测试集,拿开放模型来对比,等数字证明值得时,再把稳定的工作负载迁到自己的硬件上。你也可以把敏感请求留在自己的服务器上,其余的发给 API。如何选择运行工具与推理引擎帮你选工具,如何选择开放 AI 模型帮你选模型。

决策清单

如果下面这些大多成立,自托管很可能是对的:

  1. 数据必须留在你的硬件上。
  2. 你的流量稳定,而不是忽高忽低。
  3. 你需要微调模型或固定它的版本。
  4. 你需要的模型能放进你负担得起的硬件。
  5. 团队里有人能运行、监控和更新它。
  6. 许可证允许你的用途,包括任何托管、营收或地域条件。
  7. 你能接受搭建所需的时间。

如果大多不成立,就先用 API,并保留好你的测试集,等需求变化时再重新评估。

常见问题

自托管比用 API 更便宜吗?
只有硬件一直在忙时才更便宜。无论 GPU 是否在工作都要付费,更新和扩容也要自己处理。流量较低或不均匀时,API 通常更省钱;流量稳定且很大时,自己的硬件才可能更划算。
不自己托管,能通过 API 使用开放模型吗?
可以。许多开放模型都有托管服务商提供。请查看服务商的条款,并注意有些许可证限制出售托管访问的企业。Ollama 等本地工具有时也能在自家的云端运行模型,所以请确认请求是在哪里处理的。
自托管 30B 级别的模型需要什么硬件?
按我们的估算,Qwen3.6 27B 在 4 位下约需 19 GB 内存,35B-A3B 约需 25 GB,处理长提示词时还要为 KV 缓存留出内存。通常的目标是一张 24 到 48 GB 的 GPU,或有这么多统一内存的 Mac。
自托管更私密吗?
你的数据留在自己控制的硬件上,但随之而来的是你要负责它的安全。有些应用还能连接云服务商,对方会收到你的提示词,所以输入敏感内容之前,请确认当前启用的是哪个模型。
许可证允许我自托管吗?
内部使用几乎总是允许的。最需要注意的限制,针对的是转售托管访问的企业,以及一部分有营收上限或地域限制的附条件许可证。部署之前请读你所选模型的许可证页面。

本文关键术语

  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
  • 开放权重 开放权重模型是指公开了训练得到的参数(即权重)的 AI 模型,任何人都可以下载并运行,通常附带一份规定使用条件的许可证。
  • 兼容 OpenAI 的 API 兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。
  • 营收上限(Revenue cap) 营收上限是一种许可证条件:收入低于某个数额时模型免费使用,超过之后需要另行签订协议。
  • 自托管(Self-hosting) 自托管指在你能控制的硬件上运行模型,例如自己的电脑或租来的 GPU 服务器,而不是调用厂商的 API。
  • 自主 AI(Sovereign AI) 自主 AI 指一个国家或机构可以在自己控制之下构建、托管和管理的 AI,从算力、数据到模型本身。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3.6 Alibaba Qwen 27.8B – 36B 激活 3B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
gpt-oss OpenAI 21B – 117B 激活 5.1B 128K Apache 2.0 (宽松) 15 GB 笔记本或手机
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
DeepSeek V4 DeepSeek 284B – 1.6T 激活 49B 1M MIT (宽松) 176 GB 大内存台式机
Hy3 Tencent 295B 激活 21B 256K Apache 2.0 (宽松) 204 GB 大内存台式机
Nemotron 3.5 Lightning NVIDIA 31.6B 激活 3B 1M OpenMDW-1.1 (宽松) 22 GB 游戏显卡