运行模型的工具

模型只是文件。这些程序负责加载它们,让你能与之交互。

本地运行

下载模型并在你自己的机器上与之对话的应用和命令行工具。

  • Ollama

    在自己电脑上下载并运行开放模型的最简单方式:一条命令即可对话,还提供本地 API 供其他应用调用。

    开源MITmacOS, Windows, Linux
  • llama.cpp

    本地 AI 背后的 C/C++ 引擎:几乎能在任何硬件上运行量化模型,提供命令行工具和兼容 OpenAI 的服务器。

    开源MITmacOS, Windows, Linux
  • KoboldCpp

    单文件应用,用内置网页界面运行 GGUF 模型,还能生成图像、视频、语音和音乐。

    开源AGPL-3.0macOS, Windows, Linux
  • MLC LLM

    基于编译器的引擎,用同一个模型部署到手机、浏览器、笔记本和 GPU 上,并提供兼容 OpenAI 的 API。

    开源Apache 2.0macOS, Windows, Linux
  • whisper.cpp

    OpenAI Whisper 的无依赖 C/C++ 移植版,可在 CPU、Apple Silicon、GPU 和手机上转写语音。

    开源MITmacOS, Windows, Linux
  • stable-diffusion.cpp

    仿照 llama.cpp 的 C/C++ 引擎,运行 FLUX、Qwen-Image、Z-Image 和 Wan 等图像与视频扩散模型。

    开源MITmacOS, Windows, Linux

规模化部署

为速度和大量并发用户设计的推理引擎,通常部署在 GPU 服务器上。

  • vLLM

    使用最广泛的开源大规模语言模型服务引擎,以 PagedAttention 和连续批处理实现高吞吐,并提供兼容 OpenAI 的 API。

    开源Apache 2.0Linux
  • SGLang

    面向语言、视觉和扩散模型的高速开源服务框架,针对智能体和大规模部署做了优化。

    开源Apache 2.0Linux, macOS
  • TensorRT LLM

    NVIDIA 的推理引擎,在 NVIDIA GPU 上运行大语言模型和视觉生成模型,带优化内核和 Python API。

    开源Apache 2.0Linux
  • KTransformers

    研究型框架,让 GPU 和 CPU 内存分担工作,来运行超大的混合专家模型。

    开源Apache 2.0Linux
  • Text Embeddings Inference

    Hugging Face 的快速服务器,用于部署开放的文本嵌入、重排序和分类模型,以小型 Docker 镜像发布。

    开源Apache 2.0macOS, Linux
  • LocalAI

    自托管服务器,把语言、视觉、语音、图像和视频模型放在兼容 OpenAI、Anthropic 和 ElevenLabs 的 API 后面。

    开源MITmacOS, Linux
  • vLLM-Omni

    vLLM 项目推出的服务框架,面向不止处理文本的模型:语音、图像、视频和动作模型。

    开源Apache 2.0Linux
  • LightX2V

    面向图像和视频生成的轻量推理框架,提供蒸馏模型、量化和多种硬件后端。

    开源Apache 2.0Linux

开发库

供开发者构建应用的代码库。

  • Hugging Face Transformers

    定义了大多数开放模型的 Python 库:在模型发布当天加载、运行和微调它的标准方式。

    开源Apache 2.0macOS, Windows, Linux
  • MLX LM

    Apple 推出的 Python 包,用 MLX 框架在 Apple 芯片 Mac 上生成文本并微调语言模型。

    开源MITmacOS
  • Diffusers

    Hugging Face 的 Python 库,用于运行和训练图像、视频和音频的扩散模型。

    开源Apache 2.0macOS, Windows, Linux
  • ExLlamaV3

    面向消费级 GPU 的 CUDA 推理库,带自有的 EXL3 量化、张量并行和针对 MoE 模型的 CPU 卸载。

    开源MITWindows, Linux
  • DiffSynth-Studio

    ModelScope 社区的开源扩散模型引擎,可在配置不高的 GPU 上运行和训练图像、视频和音频模型。

    开源Apache 2.0

界面

架在模型运行器之上的网页和桌面界面。

  • LM Studio

    一款精致的桌面应用,用来下载、对话和托管本地模型,内置智能体和离线语音转写。

    可免费使用,但不开源Proprietary (free plan)macOS, Windows, Linux
  • Open WebUI

    可自行托管的聊天界面,支持 Ollama 和任何兼容 OpenAI 的 API,可完全离线运行。

    可免费使用,但不开源Open WebUI LicensemacOS, Windows, Linux
  • ComfyUI

    面向开放图像、视频、音频和 3D 模型的节点式工作室:搭建可视化工作流,并在自己的 GPU 上运行。

    开源GPL-3.0macOS, Windows, Linux
  • Jan

    免费开源的桌面版 ChatGPT 替代品,可下载并离线运行开放模型,也能连接云端 API。

    开源Apache 2.0macOS, Windows, Linux
  • AnythingLLM

    一体化应用:与你的文档对话、构建智能体、运行本地模型,既有桌面版,也有多用户的 Docker 服务器版。

    开源MITmacOS, Windows, Linux
  • InvokeAI

    自托管的 AI 图像生成创作工作室,带分层画布、基于节点的工作流和模型管理器。

    开源Apache 2.0macOS, Windows, Linux

微调

用你自己的数据调整模型的工具。

  • Unsloth

    通过桌面应用、网页界面或代码运行和微调开放模型,支持导出 GGUF,并对许多新发布的模型首日适配。

    开源Apache 2.0 and AGPL-3.0macOS, Windows, Linux
  • Axolotl

    免费的微调框架,由一个 YAML 文件驱动,支持 LoRA、QLoRA、偏好微调,以及面向 MoE 模型的 NVFP4 和专家并行训练。

    开源Apache 2.0Linux
  • LLaMA-Factory

    用零代码的命令行或网页界面微调 100 多个模型,涵盖 LoRA、QLoRA、DPO 和多模态训练。

    开源Apache 2.0Windows, Linux
  • AI Toolkit

    Ostris 出品的一体化训练套件,覆盖图像、视频和音频扩散模型,有网页界面和命令行两种用法。

    开源MITmacOS, Windows, Linux