运行模型的工具
模型只是文件。这些程序负责加载它们,让你能与之交互。
本地运行
下载模型并在你自己的机器上与之对话的应用和命令行工具。
- Ollama
在自己电脑上下载并运行开放模型的最简单方式:一条命令即可对话,还提供本地 API 供其他应用调用。
- llama.cpp
本地 AI 背后的 C/C++ 引擎:几乎能在任何硬件上运行量化模型,提供命令行工具和兼容 OpenAI 的服务器。
- KoboldCpp
单文件应用,用内置网页界面运行 GGUF 模型,还能生成图像、视频、语音和音乐。
- MLC LLM
基于编译器的引擎,用同一个模型部署到手机、浏览器、笔记本和 GPU 上,并提供兼容 OpenAI 的 API。
- whisper.cpp
OpenAI Whisper 的无依赖 C/C++ 移植版,可在 CPU、Apple Silicon、GPU 和手机上转写语音。
- stable-diffusion.cpp
仿照 llama.cpp 的 C/C++ 引擎,运行 FLUX、Qwen-Image、Z-Image 和 Wan 等图像与视频扩散模型。
规模化部署
为速度和大量并发用户设计的推理引擎,通常部署在 GPU 服务器上。
- vLLM
使用最广泛的开源大规模语言模型服务引擎,以 PagedAttention 和连续批处理实现高吞吐,并提供兼容 OpenAI 的 API。
- SGLang
面向语言、视觉和扩散模型的高速开源服务框架,针对智能体和大规模部署做了优化。
- TensorRT LLM
NVIDIA 的推理引擎,在 NVIDIA GPU 上运行大语言模型和视觉生成模型,带优化内核和 Python API。
- KTransformers
研究型框架,让 GPU 和 CPU 内存分担工作,来运行超大的混合专家模型。
- Text Embeddings Inference
Hugging Face 的快速服务器,用于部署开放的文本嵌入、重排序和分类模型,以小型 Docker 镜像发布。
- LocalAI
自托管服务器,把语言、视觉、语音、图像和视频模型放在兼容 OpenAI、Anthropic 和 ElevenLabs 的 API 后面。
- vLLM-Omni
vLLM 项目推出的服务框架,面向不止处理文本的模型:语音、图像、视频和动作模型。
- LightX2V
面向图像和视频生成的轻量推理框架,提供蒸馏模型、量化和多种硬件后端。
开发库
供开发者构建应用的代码库。
- Hugging Face Transformers
定义了大多数开放模型的 Python 库:在模型发布当天加载、运行和微调它的标准方式。
- MLX LM
Apple 推出的 Python 包,用 MLX 框架在 Apple 芯片 Mac 上生成文本并微调语言模型。
- Diffusers
Hugging Face 的 Python 库,用于运行和训练图像、视频和音频的扩散模型。
- ExLlamaV3
面向消费级 GPU 的 CUDA 推理库,带自有的 EXL3 量化、张量并行和针对 MoE 模型的 CPU 卸载。
- DiffSynth-Studio
ModelScope 社区的开源扩散模型引擎,可在配置不高的 GPU 上运行和训练图像、视频和音频模型。
界面
架在模型运行器之上的网页和桌面界面。
- LM Studio
一款精致的桌面应用,用来下载、对话和托管本地模型,内置智能体和离线语音转写。
- Open WebUI
可自行托管的聊天界面,支持 Ollama 和任何兼容 OpenAI 的 API,可完全离线运行。
- ComfyUI
面向开放图像、视频、音频和 3D 模型的节点式工作室:搭建可视化工作流,并在自己的 GPU 上运行。
- Jan
免费开源的桌面版 ChatGPT 替代品,可下载并离线运行开放模型,也能连接云端 API。
- AnythingLLM
一体化应用:与你的文档对话、构建智能体、运行本地模型,既有桌面版,也有多用户的 Docker 服务器版。
- InvokeAI
自托管的 AI 图像生成创作工作室,带分层画布、基于节点的工作流和模型管理器。
微调
用你自己的数据调整模型的工具。
- Unsloth
通过桌面应用、网页界面或代码运行和微调开放模型,支持导出 GGUF,并对许多新发布的模型首日适配。
- Axolotl
免费的微调框架,由一个 YAML 文件驱动,支持 LoRA、QLoRA、偏好微调,以及面向 MoE 模型的 NVFP4 和专家并行训练。
- LLaMA-Factory
用零代码的命令行或网页界面微调 100 多个模型,涵盖 LoRA、QLoRA、DPO 和多模态训练。
- AI Toolkit
Ostris 出品的一体化训练套件,覆盖图像、视频和音频扩散模型,有网页界面和命令行两种用法。