如何在自己的电脑上运行 AI 模型

面向新手的本地运行开放语言模型教程,使用 Ollama 或 LM Studio:查看内存、选择模型、运行模型,并让其他应用连接到它。

  • 入门
  • 阅读约 6 分钟
  • 发布于
  • 更新于

简短回答。 安装 Ollama 或 LM Studio,选一个能放进你电脑内存的模型(8 到 16 GB 内存的机器,选 40 亿到 80 亿参数的模型),然后运行它。之后一切都在你自己的电脑上进行,你甚至可以断开网络。

你需要准备什么

  • 一台较新的电脑。 Apple 芯片的 Mac,或者 Windows、Linux 电脑,最好带显卡。LM Studio 建议 16 GB 或更多内存。
  • 足够放下模型的内存。 这是主要的限制。运行 AI 模型需要多少内存教你一分钟内算出来。
  • 磁盘空间。 一个模型是 1 GB 到几十 GB 的文件。
  • 首次下载需要联网。 之后运行模型就可以离线进行。

第一步:选择工具

工具 最适合 界面
Ollama 最简单的首次尝试,并给其他应用提供本地模型 命令行,外加本地 API
LM Studio 喜欢图形界面的人,内置模型浏览器 桌面应用
llama.cpp 最大程度的控制、特殊硬件,以及在有限内存中塞进大模型 命令行和服务器
MLX LM 想用 Python 包的 Mac 用户 命令行和 Python
Open WebUI 为团队或家庭搭一个类似 ChatGPT 的共享网页,架在 Ollama 之上 网页应用

对大多数新手来说,前两个是正确的起点。vLLM 和 SGLang 这类推理引擎是为了在 GPU 服务器上服务大量用户而设计的,不适合第一次尝试。工具页面列出了全部工具,如何选择推理引擎对它们做了更详细的比较。

第二步:选一个放得下的模型

从你的内存出发,选能完成任务的最小模型。下面的数字是我们对每个模型最小版本的 4 位估算值。

你的内存 不错的起点
约 8 GB Gemma 4 E2B(3.5 GB)、MiniCPM5-2B(0.7 GB)、LFM3(1.2 GB)
约 16 GB Olmo 3.1 7B(5 GB)、Granite 4.2 8B、gpt-oss 20B(OpenAI 称 16 GB 内存即可容纳)
24 至 32 GB Qwen3.8-27B(19 GB)、Muse Glimmer(20 GB)、Gemma 4 31B

适合笔记本的小型模型榜单介绍了其中每一个,显存计算器可以估算其他情况。拿不准时,就选小一点的:宽裕放下的模型,比勉强放下的模型更快、用起来更舒服。

第三步:运行它

使用 Ollama:

  1. 从官网下载并安装适合你系统的 Ollama。
  2. 打开终端,运行 ollama run gemma4。第一次运行会下载模型,之后就可以直接在终端里聊天了。
  3. 用 ollama list 查看已下载的模型,用 ollama pull <名称> 获取另一个模型。

Ollama 的模型库(ollama.com/library)列出了许多开放模型的现成版本。这些版本经过重新打包,通常还做了量化以适应消费级硬件,所以与原始发布版本比较质量之前,请先看清标签。

使用 LM Studio:

  1. 安装应用。它支持 Apple 芯片的 Mac(macOS 14 或更新)、Windows 和 Linux,不支持 Intel Mac。
  2. 使用内置的模型浏览器搜索并下载模型。
  3. 打开聊天标签,加载模型,开始输入。你也可以在应用里启动本地服务。

第四步:在其他应用中使用

两个工具都可以运行本地服务。Ollama 的 API 默认监听你自己的电脑,端口为 11434,许多应用可以直接连接它,也可以通过 OpenAI 兼容 API的格式连接。Ollama 还提供一个启动器,能让 Claude Code 或 Codex 等编程助手连接到它所提供的模型。

如果你想为家人或团队搭一个类似 ChatGPT 的网页,可以把 Open WebUI 架在上面。请先读它的许可证:它可以免费使用,但保留了品牌标识条款,严格来说不属于开源。

如果觉得慢

  • 检查模型是否放进了高速内存。 在 Ollama 中,ollama ps 会显示模型是在 GPU 上运行,还是部分在处理器上运行。溢出到系统内存的模型会慢得多。
  • 换更小的模型或更低的精度。 量化详解讲了其中的取舍。
  • 缩短上下文。 长上下文会占用内存来存放 KV 缓存。
  • 关闭其他占资源的应用,让模型有更多空间。

隐私与安全

  • 确认模型真正的运行位置。 本地运行意味着计算留在你的电脑上。Ollama 也可以在它自己的云端运行模型,LM Studio 提供可选的托管模型。这些会把你的提示词发送出去,所以在给模型敏感数据之前,先确认它是在本地运行的。
  • 从官方渠道下载。 使用开发者自己的页面或知名的发布者。safetensors 和 GGUF 这类格式只用来存放数据,对于要求你运行额外代码的模型,请格外小心。
  • 不要把本地服务暴露到互联网上,除非你加了身份验证,并且清楚自己在做什么。
  • 用于工作时请检查许可证。 由原模型制作的 GGUF 副本,仍然受原模型许可证的约束。

当笔记本不够用时

如果你想服务大量用户,或运行超大模型,请在 GPU 服务器上使用 vLLM 或 SGLang,并通过按显存选模型页面了解模型需要哪一档硬件。自托管还是用 API可以帮你判断,买硬件是否比按 token 付费更划算。

常见问题

运行本地 AI 模型需要 GPU 吗?
不需要,但有 GPU 会更好。小模型可以在较新的处理器或 Apple 芯片的 Mac 上运行,而显卡或统一内存能让它们快得多。
Ollama 和 LM Studio 哪个更容易上手?
LM Studio 是图形界面的应用,不喜欢用终端的话最容易上手。Ollama 从命令行开始,并运行一个许多应用都支持的本地 API。两者起步都是免费的。
本地模型可以搭配编程工具和聊天应用使用吗?
可以。Ollama 和 LM Studio 都会运行一个本地服务,其他程序可以与它通信,Ollama 还能让 Claude Code 或 Codex 等编程助手连接到你电脑上的模型。
本地模型真的是私密的吗?
计算在你的电脑上进行,也可以离线工作。不过要留意云端功能:Ollama 也可以在它自己的云端运行模型,LM Studio 提供可选的托管模型,这些都会把你的提示词发送到你的电脑之外。
模型要占多少磁盘空间?
大致等于你下载的文件大小:很小的模型约 1 GB,4 位的 30B 模型约 20 GB,最大的开放模型则要数百 GB。模型页面列出了下载大小。

本文关键术语

  • GGUF GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。
  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
  • 兼容 OpenAI 的 API 兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。
  • 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
  • 统一内存 统一内存是 Apple 芯片和其他一些芯片采用的设计,CPU 和 GPU 共用同一块内存,因此大模型可以使用其中的大部分。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
gpt-oss OpenAI 21B – 117B 激活 5.1B 128K Apache 2.0 (宽松) 15 GB 笔记本或手机
MiniCPM5-2B OpenBMB 1.08B – 2.52B 128K Apache 2.0 (宽松) 0.745 GB 笔记本或手机
Olmo 3.1 Allen Institute for AI (Ai2) 7.3B – 32.2B 64K Apache 2.0 (宽松) 5.04 GB 笔记本或手机
Granite 4.2 IBM 3.7B – 29.3B 128K Apache 2.0 (宽松) 2.55 GB 笔记本或手机
Qwen3.8-27B Alibaba Qwen 27.8B 256K Apache 2.0 (宽松) 19 GB 游戏显卡