LocalAI

自托管服务器,把语言、视觉、语音、图像和视频模型放在兼容 OpenAI、Anthropic 和 ElevenLabs 的 API 后面。

  • 规模化部署
  • MIT · 开源
  • macOS, Linux
  • 核实于

LocalAI 称自己是开源的 AI 引擎,可以在任何硬件上运行语言、视觉、语音、图像和视频模型,包括只有 CPU 的机器。它是一个小核心加若干独立的后端,例如 llama.cpp、vLLM、whisper.cpp、stable-diffusion 和 MLX,README 称后端超过 60 个,每个后端只在模型需要时才作为单独的镜像拉取。它的 API 兼容 OpenAI、Anthropic 和 ElevenLabs,还可以充当可直接替换的 Ollama API,所以现有应用往往只需改一下 base URL 就能切换。

你可以通过 macOS 应用启动,也可以用 Docker 命令启动,支持仅 CPU、NVIDIA CUDA、AMD ROCm、Intel oneAPI 或 Vulkan。命令 local-ai run 可以从它的模型库、Hugging Face、Ollama 注册表或 YAML 文件加载模型。除了单用户使用,README 还列出了 API 密钥认证、用户配额、基于角色的访问控制、带有可使用工具和 MCP 的智能体的保存式对话、实时语音 API 以及分布式集群模式。

它采用 MIT 许可证,迭代很快。README 中最新的版本是 2026 年 10 月的 4.11.0,新增了带转写和说话人标签的音频场景、模型故障转移链和 Decisions API。它比 Ollama 或 LM Studio 庞大,所以最适合想用一个自托管端点承载多种模型的场景。

适合做什么

  • 用自己托管的端点替换 OpenAI、Anthropic 或 ElevenLabs 的 API 调用
  • 用一个服务器同时提供对话、语音、图像和视频,而不是用好几个工具
  • 需要 API 密钥、配额和基于角色访问控制的小团队
  • 在 AMD、Intel、Vulkan 或只有 CPU 的硬件上运行模型

需要注意

  • 后端在首次使用时才作为单独的镜像下载,请预留磁盘空间并接受第一次运行的等待
  • macOS 应用没有经过 Apple 签名,README 给出了清除隔离标记的命令
  • 功能和设置很多,做简单的本地对话时比 Ollama 更重

链接