MLC LLM

基于编译器的引擎,用同一个模型部署到手机、浏览器、笔记本和 GPU 上,并提供兼容 OpenAI 的 API。

  • 本地运行
  • Apache 2.0 · 开源
  • macOS, Windows, Linux
  • 核实于

MLC LLM 是面向大语言模型的机器学习编译器和部署引擎。它宣称的使命是让每个人都能在自己的平台上原生地开发、优化和部署 AI 模型。同一个引擎 MLCEngine,可以通过 Vulkan、ROCm、CUDA 和 Metal 运行在 AMD、NVIDIA、Apple 和 Intel 的 GPU 上,通过 WebGPU 和 WebAssembly 运行在网页浏览器中,通过 Metal 运行在 iPhone 和 iPad 上,通过 OpenCL 运行在 Android 手机上。

MLCEngine 通过 REST 服务器,以及 Python、JavaScript、iOS 和 Android 绑定,提供兼容 OpenAI 的 API,背后是同一套引擎和编译器。相关项目 WebLLM 负责浏览器内使用。模型需要用 MLC 自己的工具针对每个目标平台编译,所以在围绕某个模型做规划之前,请先查阅文档确认它是否受支持。

许可证是 Apache 2.0。该仓库没有发布 GitHub Release,所以请按 llm.mlc.ai 上的安装指南操作,并固定你测试所用的软件包或提交。它是把模型装进应用的开发者工具;如果你只想在一台电脑上和模型聊天,Ollama 或 LM Studio 更简单。

适合做什么

  • 把大模型装进 iOS、Android 或浏览器应用
  • 一个引擎覆盖 AMD、NVIDIA、Apple 和 Intel 的 GPU
  • 需要兼容 OpenAI 的本地端点的应用

需要注意

  • 模型必须针对目标平台转换和编译,所以请先确认你的模型是否受支持
  • 没有 GitHub Release,请固定你测试所用的软件包或提交
  • 它面向开发者;只想在一台电脑上简单聊天的话,Ollama 这类运行器更容易上手

链接