如何在自己的电脑上运行 AI 模型
面向新手的本地运行开放语言模型教程,使用 Ollama 或 LM Studio:查看内存、选择模型、运行模型,并让其他应用连接到它。
简短回答。 安装 Ollama 或 LM Studio,选一个能放进你电脑内存的模型(8 到 16 GB 内存的机器,选 40 亿到 80 亿参数的模型),然后运行它。之后一切都在你自己的电脑上进行,你甚至可以断开网络。
你需要准备什么
- 一台较新的电脑。 Apple 芯片的 Mac,或者 Windows、Linux 电脑,最好带显卡。LM Studio 建议 16 GB 或更多内存。
- 足够放下模型的内存。 这是主要的限制。运行 AI 模型需要多少内存教你一分钟内算出来。
- 磁盘空间。 一个模型是 1 GB 到几十 GB 的文件。
- 首次下载需要联网。 之后运行模型就可以离线进行。
第一步:选择工具
| 工具 | 最适合 | 界面 |
|---|---|---|
| Ollama | 最简单的首次尝试,并给其他应用提供本地模型 | 命令行,外加本地 API |
| LM Studio | 喜欢图形界面的人,内置模型浏览器 | 桌面应用 |
| llama.cpp | 最大程度的控制、特殊硬件,以及在有限内存中塞进大模型 | 命令行和服务器 |
| MLX LM | 想用 Python 包的 Mac 用户 | 命令行和 Python |
| Open WebUI | 为团队或家庭搭一个类似 ChatGPT 的共享网页,架在 Ollama 之上 | 网页应用 |
对大多数新手来说,前两个是正确的起点。vLLM 和 SGLang 这类推理引擎是为了在 GPU 服务器上服务大量用户而设计的,不适合第一次尝试。工具页面列出了全部工具,如何选择推理引擎对它们做了更详细的比较。
第二步:选一个放得下的模型
从你的内存出发,选能完成任务的最小模型。下面的数字是我们对每个模型最小版本的 4 位估算值。
| 你的内存 | 不错的起点 |
|---|---|
| 约 8 GB | Gemma 4 E2B(3.5 GB)、MiniCPM5-2B(0.7 GB)、LFM3(1.2 GB) |
| 约 16 GB | Olmo 3.1 7B(5 GB)、Granite 4.2 8B、gpt-oss 20B(OpenAI 称 16 GB 内存即可容纳) |
| 24 至 32 GB | Qwen3.8-27B(19 GB)、Muse Glimmer(20 GB)、Gemma 4 31B |
适合笔记本的小型模型榜单介绍了其中每一个,显存计算器可以估算其他情况。拿不准时,就选小一点的:宽裕放下的模型,比勉强放下的模型更快、用起来更舒服。
第三步:运行它
使用 Ollama:
- 从官网下载并安装适合你系统的 Ollama。
- 打开终端,运行
ollama run gemma4。第一次运行会下载模型,之后就可以直接在终端里聊天了。 - 用
ollama list查看已下载的模型,用ollama pull <名称>获取另一个模型。
Ollama 的模型库(ollama.com/library)列出了许多开放模型的现成版本。这些版本经过重新打包,通常还做了量化以适应消费级硬件,所以与原始发布版本比较质量之前,请先看清标签。
使用 LM Studio:
- 安装应用。它支持 Apple 芯片的 Mac(macOS 14 或更新)、Windows 和 Linux,不支持 Intel Mac。
- 使用内置的模型浏览器搜索并下载模型。
- 打开聊天标签,加载模型,开始输入。你也可以在应用里启动本地服务。
第四步:在其他应用中使用
两个工具都可以运行本地服务。Ollama 的 API 默认监听你自己的电脑,端口为 11434,许多应用可以直接连接它,也可以通过 OpenAI 兼容 API的格式连接。Ollama 还提供一个启动器,能让 Claude Code 或 Codex 等编程助手连接到它所提供的模型。
如果你想为家人或团队搭一个类似 ChatGPT 的网页,可以把 Open WebUI 架在上面。请先读它的许可证:它可以免费使用,但保留了品牌标识条款,严格来说不属于开源。
如果觉得慢
- 检查模型是否放进了高速内存。 在 Ollama 中,
ollama ps会显示模型是在 GPU 上运行,还是部分在处理器上运行。溢出到系统内存的模型会慢得多。 - 换更小的模型或更低的精度。 量化详解讲了其中的取舍。
- 缩短上下文。 长上下文会占用内存来存放 KV 缓存。
- 关闭其他占资源的应用,让模型有更多空间。
隐私与安全
- 确认模型真正的运行位置。 本地运行意味着计算留在你的电脑上。Ollama 也可以在它自己的云端运行模型,LM Studio 提供可选的托管模型。这些会把你的提示词发送出去,所以在给模型敏感数据之前,先确认它是在本地运行的。
- 从官方渠道下载。 使用开发者自己的页面或知名的发布者。safetensors 和 GGUF 这类格式只用来存放数据,对于要求你运行额外代码的模型,请格外小心。
- 不要把本地服务暴露到互联网上,除非你加了身份验证,并且清楚自己在做什么。
- 用于工作时请检查许可证。 由原模型制作的 GGUF 副本,仍然受原模型许可证的约束。
当笔记本不够用时
如果你想服务大量用户,或运行超大模型,请在 GPU 服务器上使用 vLLM 或 SGLang,并通过按显存选模型页面了解模型需要哪一档硬件。自托管还是用 API可以帮你判断,买硬件是否比按 token 付费更划算。
常见问题
- 运行本地 AI 模型需要 GPU 吗?
- 不需要,但有 GPU 会更好。小模型可以在较新的处理器或 Apple 芯片的 Mac 上运行,而显卡或统一内存能让它们快得多。
- Ollama 和 LM Studio 哪个更容易上手?
- LM Studio 是图形界面的应用,不喜欢用终端的话最容易上手。Ollama 从命令行开始,并运行一个许多应用都支持的本地 API。两者起步都是免费的。
- 本地模型可以搭配编程工具和聊天应用使用吗?
- 可以。Ollama 和 LM Studio 都会运行一个本地服务,其他程序可以与它通信,Ollama 还能让 Claude Code 或 Codex 等编程助手连接到你电脑上的模型。
- 本地模型真的是私密的吗?
- 计算在你的电脑上进行,也可以离线工作。不过要留意云端功能:Ollama 也可以在它自己的云端运行模型,LM Studio 提供可选的托管模型,这些都会把你的提示词发送到你的电脑之外。
- 模型要占多少磁盘空间?
- 大致等于你下载的文件大小:很小的模型约 1 GB,4 位的 30B 模型约 20 GB,最大的开放模型则要数百 GB。模型页面列出了下载大小。
本文关键术语
- GGUF GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。
- 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
- 兼容 OpenAI 的 API 兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 统一内存 统一内存是 Apple 芯片和其他一些芯片采用的设计,CPU 和 GPU 共用同一块内存,因此大模型可以使用其中的大部分。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| gpt-oss OpenAI | 21B – 117B 激活 5.1B | 128K | Apache 2.0 (宽松) | 15 GB 笔记本或手机 | |
| MiniCPM5-2B OpenBMB | 1.08B – 2.52B | 128K | Apache 2.0 (宽松) | 0.745 GB 笔记本或手机 | |
| Olmo 3.1 Allen Institute for AI (Ai2) | 7.3B – 32.2B | 64K | Apache 2.0 (宽松) | 5.04 GB 笔记本或手机 | |
| Granite 4.2 IBM | 3.7B – 29.3B | 128K | Apache 2.0 (宽松) | 2.55 GB 笔记本或手机 | |
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 |