如何选择开放 AI 模型:实用决策指南
按任务、硬件、许可证和能力来选择开放模型。分步骤的决策指南,附聊天、编程、文档、图像、视频、语音、音乐、翻译和检索的精选清单。
简短回答。 按这个顺序做决定:你需要模型做什么、你有什么硬件、你能接受哪种许可证、哪些能力对你重要。然后在自己的例子上测试两三个候选。不要只凭一个基准分数给模型排名,也不要想当然地认为越大越好。
第一步:你需要它做什么?
| 任务 | 模型类型 | 从这里开始 |
|---|---|---|
| 聊天、写作、推理、摘要 | 语言模型 | 最佳开源大模型 |
| 编程辅助、编程智能体、工具调用 | 具备智能体能力的语言模型 | 编程与智能体和编程智能体指南 |
| 理解照片、截图和图表 | 视觉语言模型 | 多模态模型,比如 Gemma 4 和 MiniCPM-V 4.7 |
| 读取扫描件、PDF 和表单 | OCR 或文档模型 | OCR 与文档模型和 OCR 指南 |
| 翻译文本或图片里的文字 | 翻译模型 | 翻译模型和翻译指南 |
| 生成或编辑图像和视频 | 图像或视频模型 | 图像与视频 |
| 转写语音 | 语音转文字模型 | 语音识别和语音转文字指南 |
| 生成语音 | 文字转语音模型 | 文字转语音和文字转语音指南 |
| 制作歌曲、音乐或音效 | 音乐或音效模型 | 音乐与音效生成和音乐生成指南 |
| 按含义检索文档 | 嵌入模型,外加用于生成答案的语言模型 | 嵌入模型和嵌入模型指南 |
第二步:你有什么硬件?
内存是硬性限制:放不下的模型要么跑不好,要么根本跑不起来。先弄清你有多少内存,再只看放得下的模型。
- 按显存选模型页面按每个模型最小版本所需的内存对所有模型分组。
- 运行 AI 模型需要多少内存讲解了这些数字背后的规则,显存计算器可以帮你计算。
- 如果你只有一台笔记本,请从适合笔记本的小型模型开始。
- 超大模型越来越多地直接以 4 位发布,所以请看真实的文件大小。超大开源模型开始直接以 4 位发布列出了每个模型的大小。
- 如果想用的模型超出了你的硬件,自托管还是用 API可以帮你权衡是买硬件还是按 token 付费。
第三步:你能接受哪种许可证?
- 个人使用和学习: 几乎任何开放许可证都可以。
- 产品或企业业务: 优先选择 Apache 2.0、MIT 和 OpenMDW-1.1 等宽松许可证,因为它们需要你跟踪的条件很少。
- 有条件的许可证: 对照自己的情况,检查营收上限、署名要求以及针对托管业务的规则。
- 非商用许可证: 适合研究和评估,但做产品需要另行取得许可。
AI 模型许可证详解介绍了细节,可以商用的模型按许可证类型对目录做了分类。
第四步:哪些能力重要?
- 输入类型。 如果你需要音频输入,可以看看较小规格的 Gemma 4、Muse Spark Open、MiMo-V2.6 和 Inkling。许多模型支持图像输入,有些还支持视频。
- 上下文长度。 2026 年的许多大型发布提供 100 万 token 的窗口,较小的模型提供 128K 到 256K token。请确认你的文档放得下,并记住长上下文需要额外的内存。
- 语言。 以开发者列出的语言为准。例如,Mistral Large 4 列出了 160 多种语言,Gemma 4 列出 35 种以上,Qwen3-Embedding 列出 100 多种。
- 工具调用和智能体。 如果你要构建智能体,请找明确支持函数调用的模型,比如 gpt-oss 和 Granite 4.2。
- 推理模式。 许多模型可以在回答前一步步思考。有些模型,比如 gpt-oss,还可以让你选择投入多少推理力度。
- 速度。 混合专家模型每个 token 只激活一部分参数,所以相比占用相同内存的稠密模型,它们生成可以更快。
第五步:测试你的候选清单
挑两三个候选,把同一批你自己的例子分别跑一遍,比较质量、速度和内存占用。如何自己评估模型讲解了如何建立小型测试集并公平地打分。
四个决策示例
16 GB 笔记本上的私人助手。 看看 Gemma 4(规格从手机级一直到 31B 模型),以及 gpt-oss 的 21B 版本(OpenAI 称 16 GB 内存即可容纳)。两者都是 Apache 2.0,没有需要跟踪的许可证条件。
小团队在一张 80 GB GPU 上的编程助手。 gpt-oss 的 117B 版本约 65 GB,可以在单张 80 GB GPU 上运行。像 Qwen3.8-27B 这样的稠密模型,则为长上下文和多个用户留出更大的余量。两者都可以用 vLLM 这样的服务端引擎来部署。
带说话人标注的访谈转写。 Whisper large-v3-turbo 是约 6 GB 的轻量选项,但它不标注说话人。VibeVoice-ASR 可以标注,一次最多处理一小时的音频,采用 MIT 许可证,但它有 8.7B 参数,按我们的估算需要约 20 GB 内存。Nemotron 3.5 Transcribe 也能标注说话人,但只支持它 40 种语言中的 13 种,而且需要大显卡。
想做图像功能的初创公司。 先看许可证。FLUX 3 Image Klein 在年营收低于 500 万美元时可免费商用,并且附带输出过滤的义务,Qwen-Image-2.1 仅限研究,MiniMax H3-Image 的许可证在美国、欧盟、英国和韩国不适用(属于地域限制)。Z-Image 和 MOSS-Image 是 Apache 2.0,需要跟踪的条件最少,但它们只能由文本生成图像,不能编辑图像。FLUX.3 Image Klein 与 Z-Image 对比对两者做了比较。
常见错误
- 只凭一个排行榜数字做选择。 发布公告里的基准分数来自开发者,未必反映你的任务。
- 选择能运行的最大模型。 它会更慢、更贵,而更小的模型也许就能完成任务。
- 最后才看许可证。 请在开发之前检查,而不是之后。
- 忘了上下文缓存。 短提示词下放得下的模型,遇到长提示词可能会耗尽内存。
- 只测试简单的提示词。 把你真实工作中困难和少见的情况也放进去。
常见问题
- 最好的开源大模型是哪个?
- 没有唯一的最佳答案。合适的选择取决于你的硬件、任务和你能接受的许可证。从适合你情况的清单入手,比如适合笔记本的小型模型,或面向编程和智能体的模型,然后在自己的例子上测试两三个候选。
- 应该选我能运行的最大模型吗?
- 不一定。更大的模型运行起来更慢、更贵。先从能完成任务的最小模型开始,只有在它不够用时才升级。
- 新模型一定比旧模型好吗?
- 常常如此,但对你的任务不一定。旧模型可能有更好的工具支持,新模型有时需要较新的软件版本。请在自己的工作上测试。
- 以后还能更换模型吗?
- 可以,但要提前规划。提示词可能需要重新调整,不同模型的许可证不同,而嵌入模型之间不能互换,换一个就意味着要为文档重建索引。
本文关键术语
- 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
- 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
- 开放权重 开放权重模型是指公开了训练得到的参数(即权重)的 AI 模型,任何人都可以下载并运行,通常附带一份规定使用条件的许可证。
- 宽松许可证 宽松许可证(如 Apache 2.0 或 MIT)允许你使用、修改和销售模型,附加条件很少,通常只要求保留声明。
- 地域限制(Territory restriction) 地域限制规定许可证在哪些地方有效:在被排除的国家或地区使用该模型,就没有获得许可。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| gpt-oss OpenAI | 21B – 117B 激活 5.1B | 128K | Apache 2.0 (宽松) | 15 GB 笔记本或手机 | |
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Whisper large-v3-turbo OpenAI | 810M – 1.54B | – | MIT (宽松) | 6 GB 笔记本或手机 | |
| VibeVoice-ASR Microsoft | 2.81B – 8.67B | 64K | MIT (宽松) | 6.47 GB 笔记本或手机 | |
| Nemotron 3.5 Transcribe NVIDIA | 34B 激活 4.3B | 64K | OpenMDW-1.1 (宽松) | 25 GB 游戏显卡 | |
| FLUX 3 Image Klein Black Forest Labs | 5.6B | – | FLUX Kommunity (附条件) | 8 GB 笔记本或手机 | |
| Z-Image Tongyi MAI | 6.15B | – | Apache 2.0 (宽松) | 16 GB 笔记本或手机 | |
| MOSS-Image OpenMOSS | 5.08B | – | Apache 2.0 (宽松) | 4.2 GB 笔记本或手机 | |
| MiniMax H3-Image MiniMax | 33.1B | – | MiniMax H3-Image Community (附条件) | 155 GB 大内存台式机 |