llama.cpp

本地 AI 背后的 C/C++ 引擎:几乎能在任何硬件上运行量化模型,提供命令行工具和兼容 OpenAI 的服务器。

  • 本地运行
  • MIT · 开源
  • macOS, Windows, Linux
  • 核实于

llama.cpp 是用纯 C/C++ 编写、没有外部依赖的开源推理引擎。按它自己的说法,目标是让语言和视觉语言模型在各种硬件上,无论本地还是云端,都能以最少的设置获得出色的性能。Apple 芯片是它的一等公民,同时也支持带 AVX 和 AMX 的 x86 CPU、通过 CUDA 的 NVIDIA GPU、通过 HIP 的 AMD GPU,以及 Vulkan、SYCL、Metal、OpenCL 等后端。

它的核心手段是量化:权重可以用每个数值 1.5 到 8 位来存储,从而减少内存占用并加快生成速度;CPU+GPU 混合推理则能让比显存更大的模型也获得部分加速。模型以 GGUF 格式分发。llama cli 命令加上 -hf 就能直接从 Hugging Face 下载并运行模型,llama serve 则启动带内置网页界面、兼容 OpenAI 的 API 服务器。

许多更易用的工具都建立在它之上。LM Studio 说其底层使用 llama.cpp 和 MLX,Unsloth 用它来运行和导出模型。如果你想要最大的控制力、最低的开销,或者需要在特殊硬件上运行模型,就直接使用 llama.cpp。

适合做什么

  • 在 CPU、旧显卡、Apple 芯片和其他特殊硬件上运行模型
  • 通过 2 位到 6 位量化把大模型塞进有限的内存
  • 搭建小巧、无依赖、带 OpenAI 兼容 API 的本地服务器
  • 了解本地推理究竟是怎么工作的

需要注意

  • 它是命令行工具,学习曲线比 Ollama 或 LM Studio 陡
  • 量化越狠越省内存,但质量也会下降,请用你的任务在打算使用的精度下实测
  • 全新模型架构的支持可能滞后于模型发布

链接