Ollama
在自己电脑上下载并运行开放模型的最简单方式:一条命令即可对话,还提供本地 API 供其他应用调用。
Ollama 是免费的开源工具,可以下载开放模型并在你自己的机器上运行。在 macOS、Windows 或 Linux 上安装后,运行 ollama run gemma4 这样的一条命令就能开始对话。它在 ollama.com/library 提供了许多开放模型的现成版本,你不必到处找文件或转换格式。
Ollama 还会在本机运行一个 REST API(默认端口 11434),让其他程序也能使用你的模型。官方提供 Python 和 JavaScript 库,服务器上可使用官方 Docker 镜像。它的启动器可以把 Claude Code、Codex 等编程助手以及个人助理接到由 Ollama 提供的模型上。按其 README 的说法,最新发布的模型既可以在本地使用,也可以在云端使用。
对大多数新手来说,它是最适合上手的第一个工具:几分钟就能装好,默认设置就能用。如果要同时服务大量用户,则更适合使用 vLLM 或 SGLang 这类专门的引擎。
适合做什么
- 第一次在笔记本或台式机上试用开放模型
- 通过简单的 API 让自己的应用或脚本使用本地模型
- 把编程助手和 Open WebUI 等聊天前端接到本地模型
- 用官方 Docker 镜像在家庭服务器上运行
需要注意
- 模型库中的模型经过重新打包,通常为适应消费级硬件而量化,与原版对比质量前请先看清标签
- Ollama 也可以在其云端运行模型,发送敏感数据前请确认模型是在本地运行
- 它面向本地和小团队使用;同时服务大量用户需要服务器引擎