端侧 AI(On-device AI)
端侧 AI 指模型在你自己的手机、笔记本或小型开发板上运行,而不是在云端,所以数据留在本地,也能离线使用。
在本地运行,可以避免把私密的文本、音频或图像发送到服务器,没有网络也能用,也没有按次收费。限制在于内存和速度:手机和笔记本只有几 GB 到几十 GB 内存,所以端侧模型都比较小,大致是 1B 到 10B 参数,或只激活几十亿参数的混合专家模型,并且通常量化到 4 位。
本站的例子包括 Gemma 4 的 E2B 和 E4B、Liquid AI 的 LFM3、MiniCPM-V 4.7 的 1B 模型,以及用于语音的 Mistral Voxtral Realtime。llama.cpp、MLX 和 Ollama 等运行时负责打包。在手机上还要考虑耗电和发热,所以请在实际设备上测量速度。
相关术语
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 统一内存 统一内存是 Apple 芯片和其他一些芯片采用的设计,CPU 和 GPU 共用同一块内存,因此大模型可以使用其中的大部分。
- GGUF GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。