如何选择开放模型的运行工具与推理引擎

对比 Ollama、LM Studio、llama.cpp、MLX-LM、vLLM、SGLang、TensorRT-LLM 和 KTransformers:笔记本、Mac、手机、家用服务器和生产 API 分别该用哪个。

  • 进阶
  • 阅读约 8 分钟
  • 发布于
  • 更新于

简短回答。 在一台电脑上,先用 Ollama 或 LM Studio 起步,想要更多控制时转到 llama.cpp。Mac 上再加一个 MLX-LM。要在 GPU 服务器上服务许多用户,用 vLLM 或 SGLang,NVIDIA 数据中心 GPU 上还可以用 TensorRT-LLM。想在一张 GPU 加大量系统内存上运行巨型混合专家模型,可以试试 KTransformers。下载权重之前,先确认引擎支持你的模型。

先看它在哪里运行

合适的工具取决于模型在哪里运行、有多少人使用:

  1. 你自己的电脑,供一个人使用。 选能在几分钟内下载模型并回答问题的运行工具。
  2. 应用、浏览器或手机。 选可以嵌入产品的引擎。
  3. 服务器,供许多用户使用。 选为批处理、长上下文和多张 GPU 设计的引擎。

推理就是运行训练好的模型这一步,而这些工具大多提供兼容 OpenAI 的 API,意味着你以后改主意也不用重写应用。

一览表

工具 类型 许可证 运行平台 适合的情形
Ollama 运行工具 MIT macOS、Windows、Linux 想用一条命令聊天并得到本地 API
LM Studio 桌面应用 专有,有免费版 macOS、Windows、Linux 喜欢图形界面;应用本身不开源
llama.cpp 运行工具 MIT macOS、Windows、Linux 想在几乎任何硬件上使用 2 位到 6 位量化并掌控细节
KoboldCpp 运行工具 AGPL-3.0 macOS、Windows、Linux 想要一个带内置网页界面的单文件
MLX-LM 库 MIT macOS 有 Apple 芯片的 Mac,想用 Python 和 LoRA
MLC LLM 运行工具 Apache 2.0 macOS、Windows、Linux 要把模型放进 iOS、Android 或浏览器应用
ExLlamaV3 库 MIT Windows、Linux 使用 NVIDIA 消费级 GPU,想用 EXL3 量化
Transformers 库 Apache 2.0 macOS、Windows、Linux 想用 Python 在模型发布当天就试用
vLLM 服务器 Apache 2.0 Linux 在 GPU 服务器上服务许多用户
SGLang 服务器 Apache 2.0 Linux、macOS 服务大型混合专家模型或智能体负载
TensorRT-LLM 服务器 Apache 2.0 Linux 使用 NVIDIA GPU,并遵循 NVIDIA 的部署指南
KTransformers 服务器 Apache 2.0 Linux 在一张 GPU 加系统内存上运行巨型混合专家模型

在你自己的电脑上

新手。 LM Studio 和 Ollama 都能让你很快聊起来。LM Studio 是精致的桌面应用,也能提供本地 API,但它是专有软件,工作中使用前请先读它的条款,而且不支持 Intel 的 Mac。Ollama 是命令行运行工具,带有现成模型库和本地 API。它库里的模型是重新打包的,常常经过量化,它也可以在自己的云端运行模型,所以在发送敏感数据之前,请确认模型是在本地运行。

更多控制。 llama.cpp 能在 CPU、较旧的 GPU、Apple 芯片和各种特殊硬件上运行 GGUF 模型,并带有兼容 OpenAI 的服务器。对全新架构的支持可能落后于模型发布。KoboldCpp 把同类模型包装进一个可下载的单文件,带内置界面,还能生成图像和语音。

Apple 芯片。 MLX-LM 是苹果为 Mac 提供的文本生成和 LoRA 微调包,只能在 Apple 芯片上运行。

NVIDIA 消费级 GPU。 ExLlamaV3 有自己的 EXL3 量化,llama.cpp 无法加载,还支持为大型混合专家模型做 CPU 卸载。它需要 CUDA 12.4 或更高版本。

友好的前端。 Open WebUI、Jan 和 AnythingLLM 增加了聊天界面、文档检索或智能体;Open WebUI 的底层需要 Ollama 这样的模型服务器。本地运行 AI 模型指南介绍了第一次的配置步骤。

在应用内或手机上

MLC LLM 能把同一个模型编译到 iOS、Android、浏览器、笔记本和 GPU 上,对外是兼容 OpenAI 的 API。模型必须为每个目标平台转换和编译,所以请先确认你的模型受支持。llama.cpp 是设备端场景的另一个常见选择,术语设备端 AI解释了其中的取舍。

服务许多用户

服务器引擎会把许多请求批量处理,并管理 KV 缓存,它和权重争用 GPU 内存。下面三个都运行在 Linux 上:

  • vLLM 是使用最广泛的开源语言模型服务引擎。它支持多 GPU 和多节点部署,提供可自托管的、兼容 OpenAI 的接口。新的架构可能需要较新的版本。
  • SGLang 针对大型混合专家模型,以及会重复使用长提示词的智能体负载做了优化。它也能提供图像和视频模型服务。它更新很快,生产环境请固定版本。
  • TensorRT-LLM 是 NVIDIA 为自家 GPU 打造的引擎,有优化过的内核,以及针对 Nemotron、DeepSeek、GPT-OSS 和 Qwen 等模型的部署指南。主分支领先于最新发布版本,所以请固定某个发布版本或容器。

启动参数取决于模型和硬件,所以请从模型卡上的方案开始,比如 GLM-5.3 Flash,Z.ai 列出了 SGLang 和 vLLM。

用普通硬件运行巨型模型

混合专家模型每个 token 只激活少数几个专家,所以闲置的专家可以放在系统内存里。KTransformers 在 GPU 和 CPU 内存之间分担工作,所以 DeepSeek、GLM、Kimi 或 MiniMax 的巨型模型可以在一张 GPU 加大量内存上运行,速度比全部放在 GPU 服务器上要慢。它是研究项目,软件包要求 x86-64 架构的 Linux。ExLlamaV3 和 llama.cpp 也支持为这类模型做 CPU 卸载。尝试之前,请先读我需要多少内存,也看看直接以 4 位发布的模型,见超大开源模型开始直接以 4 位发布。

下载之前先确认支持

三项检查能省下几个小时:

  1. 引擎支持这个模型的架构吗? 读模型卡,看推荐的引擎和版本。一个模型可能当天就能在 Transformers 里运行,却要更久才能支持 llama.cpp。
  2. 用哪种文件格式? Transformers、vLLM 和 SGLang 加载的是 safetensors 权重,GGUF 是 llama.cpp 以及许多本地应用使用的格式,EXL3 则只能配合 ExLlamaV3。量化详解介绍了这些格式。
  3. 放得下吗? 把你最长提示词的 KV 缓存加到权重上,并在你实际会使用的精度下测试自己的任务。

如果你还在选模型,如何选择开放 AI 模型是个好的起点。

常见问题

应该用 Ollama 还是 llama.cpp?
想要最简单的开始,一条命令就能聊天并得到本地 API,就用 Ollama。想对量化、硬件和服务器选项有更多控制,并且习惯命令行,就用 llama.cpp。Ollama 库里的模型是重新打包的,常常经过量化,所以和原始发布版本比较质量之前,请先看标签。
vLLM 和 SGLang 有什么区别?
两者都是在 GPU 服务器上提供模型服务的开源引擎,都有兼容 OpenAI 的 API。vLLM 使用最广泛,SGLang 则针对大型混合专家模型和会重复使用长提示词的智能体负载做了优化。请遵循模型卡上的启动方案,有条件的话也用自己的流量测试两者。
可以在 Mac 上运行开放模型吗?
可以。LM Studio、Ollama 和 llama.cpp 都能在 Apple 芯片上运行,MLX-LM 是苹果自己的包,用于文本生成和 LoRA 微调,只能用于 Apple 芯片。大模型需要很多统一内存,所以请先看内存指南。
服务很多用户需要服务器引擎吗?
同时服务很多用户的话,需要。Ollama 面向本地和小团队使用,而 vLLM、SGLang 和 TensorRT-LLM 是为在 GPU 服务器上批量处理大量请求而设计的,配置也更复杂。
为什么兼容 OpenAI 的 API 很重要?
这些工具大多提供同样风格的 API,所以你的应用换引擎,或在本地模型和托管模型之间切换,只需要改一个网址和模型名,不用重写代码。

本文关键术语

  • GGUF GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。
  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
  • 兼容 OpenAI 的 API 兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。
  • 自托管(Self-hosting) 自托管指在你能控制的硬件上运行模型,例如自己的电脑或租来的 GPU 服务器,而不是调用厂商的 API。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3.6 Alibaba Qwen 27.8B – 36B 激活 3B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
gpt-oss OpenAI 21B – 117B 激活 5.1B 128K Apache 2.0 (宽松) 15 GB 笔记本或手机
DeepSeek V4 DeepSeek 284B – 1.6T 激活 49B 1M MIT (宽松) 176 GB 大内存台式机
GLM-5.3-Flash Z.ai (Zhipu AI) 320B 激活 18B 1M MIT (宽松) 221 GB 大内存台式机
Nemotron 3.5 Lightning NVIDIA 31.6B 激活 3B 1M OpenMDW-1.1 (宽松) 22 GB 游戏显卡