如何选择开放 AI 模型:实用决策指南

按任务、硬件、许可证和能力来选择开放模型。分步骤的决策指南,附聊天、编程、文档、图像、视频、语音、音乐、翻译和检索的精选清单。

  • 入门
  • 阅读约 9 分钟
  • 发布于
  • 更新于

简短回答。 按这个顺序做决定:你需要模型做什么、你有什么硬件、你能接受哪种许可证、哪些能力对你重要。然后在自己的例子上测试两三个候选。不要只凭一个基准分数给模型排名,也不要想当然地认为越大越好。

第一步:你需要它做什么?

任务 模型类型 从这里开始
聊天、写作、推理、摘要 语言模型 最佳开源大模型
编程辅助、编程智能体、工具调用 具备智能体能力的语言模型 编程与智能体和编程智能体指南
理解照片、截图和图表 视觉语言模型 多模态模型,比如 Gemma 4 和 MiniCPM-V 4.7
读取扫描件、PDF 和表单 OCR 或文档模型 OCR 与文档模型和 OCR 指南
翻译文本或图片里的文字 翻译模型 翻译模型和翻译指南
生成或编辑图像和视频 图像或视频模型 图像与视频
转写语音 语音转文字模型 语音识别和语音转文字指南
生成语音 文字转语音模型 文字转语音和文字转语音指南
制作歌曲、音乐或音效 音乐或音效模型 音乐与音效生成和音乐生成指南
按含义检索文档 嵌入模型,外加用于生成答案的语言模型 嵌入模型和嵌入模型指南

第二步:你有什么硬件?

内存是硬性限制:放不下的模型要么跑不好,要么根本跑不起来。先弄清你有多少内存,再只看放得下的模型。

第三步:你能接受哪种许可证?

  • 个人使用和学习: 几乎任何开放许可证都可以。
  • 产品或企业业务: 优先选择 Apache 2.0、MIT 和 OpenMDW-1.1 等宽松许可证,因为它们需要你跟踪的条件很少。
  • 有条件的许可证: 对照自己的情况,检查营收上限、署名要求以及针对托管业务的规则。
  • 非商用许可证: 适合研究和评估,但做产品需要另行取得许可。

AI 模型许可证详解介绍了细节,可以商用的模型按许可证类型对目录做了分类。

第四步:哪些能力重要?

  • 输入类型。 如果你需要音频输入,可以看看较小规格的 Gemma 4、Muse Spark Open、MiMo-V2.6 和 Inkling。许多模型支持图像输入,有些还支持视频。
  • 上下文长度。 2026 年的许多大型发布提供 100 万 token 的窗口,较小的模型提供 128K 到 256K token。请确认你的文档放得下,并记住长上下文需要额外的内存。
  • 语言。 以开发者列出的语言为准。例如,Mistral Large 4 列出了 160 多种语言,Gemma 4 列出 35 种以上,Qwen3-Embedding 列出 100 多种。
  • 工具调用和智能体。 如果你要构建智能体,请找明确支持函数调用的模型,比如 gpt-oss 和 Granite 4.2。
  • 推理模式。 许多模型可以在回答前一步步思考。有些模型,比如 gpt-oss,还可以让你选择投入多少推理力度。
  • 速度。 混合专家模型每个 token 只激活一部分参数,所以相比占用相同内存的稠密模型,它们生成可以更快。

第五步:测试你的候选清单

挑两三个候选,把同一批你自己的例子分别跑一遍,比较质量、速度和内存占用。如何自己评估模型讲解了如何建立小型测试集并公平地打分。

四个决策示例

16 GB 笔记本上的私人助手。 看看 Gemma 4(规格从手机级一直到 31B 模型),以及 gpt-oss 的 21B 版本(OpenAI 称 16 GB 内存即可容纳)。两者都是 Apache 2.0,没有需要跟踪的许可证条件。

小团队在一张 80 GB GPU 上的编程助手。 gpt-oss 的 117B 版本约 65 GB,可以在单张 80 GB GPU 上运行。像 Qwen3.8-27B 这样的稠密模型,则为长上下文和多个用户留出更大的余量。两者都可以用 vLLM 这样的服务端引擎来部署。

带说话人标注的访谈转写。 Whisper large-v3-turbo 是约 6 GB 的轻量选项,但它不标注说话人。VibeVoice-ASR 可以标注,一次最多处理一小时的音频,采用 MIT 许可证,但它有 8.7B 参数,按我们的估算需要约 20 GB 内存。Nemotron 3.5 Transcribe 也能标注说话人,但只支持它 40 种语言中的 13 种,而且需要大显卡。

想做图像功能的初创公司。 先看许可证。FLUX 3 Image Klein 在年营收低于 500 万美元时可免费商用,并且附带输出过滤的义务,Qwen-Image-2.1 仅限研究,MiniMax H3-Image 的许可证在美国、欧盟、英国和韩国不适用(属于地域限制)。Z-Image 和 MOSS-Image 是 Apache 2.0,需要跟踪的条件最少,但它们只能由文本生成图像,不能编辑图像。FLUX.3 Image Klein 与 Z-Image 对比对两者做了比较。

常见错误

  • 只凭一个排行榜数字做选择。 发布公告里的基准分数来自开发者,未必反映你的任务。
  • 选择能运行的最大模型。 它会更慢、更贵,而更小的模型也许就能完成任务。
  • 最后才看许可证。 请在开发之前检查,而不是之后。
  • 忘了上下文缓存。 短提示词下放得下的模型,遇到长提示词可能会耗尽内存。
  • 只测试简单的提示词。 把你真实工作中困难和少见的情况也放进去。

常见问题

最好的开源大模型是哪个?
没有唯一的最佳答案。合适的选择取决于你的硬件、任务和你能接受的许可证。从适合你情况的清单入手,比如适合笔记本的小型模型,或面向编程和智能体的模型,然后在自己的例子上测试两三个候选。
应该选我能运行的最大模型吗?
不一定。更大的模型运行起来更慢、更贵。先从能完成任务的最小模型开始,只有在它不够用时才升级。
新模型一定比旧模型好吗?
常常如此,但对你的任务不一定。旧模型可能有更好的工具支持,新模型有时需要较新的软件版本。请在自己的工作上测试。
以后还能更换模型吗?
可以,但要提前规划。提示词可能需要重新调整,不同模型的许可证不同,而嵌入模型之间不能互换,换一个就意味着要为文档重建索引。

本文关键术语

  • 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
  • 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
  • 开放权重 开放权重模型是指公开了训练得到的参数(即权重)的 AI 模型,任何人都可以下载并运行,通常附带一份规定使用条件的许可证。
  • 宽松许可证 宽松许可证(如 Apache 2.0 或 MIT)允许你使用、修改和销售模型,附加条件很少,通常只要求保留声明。
  • 地域限制(Territory restriction) 地域限制规定许可证在哪些地方有效:在被排除的国家或地区使用该模型,就没有获得许可。
  • 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
gpt-oss OpenAI 21B – 117B 激活 5.1B 128K Apache 2.0 (宽松) 15 GB 笔记本或手机
Qwen3.8-27B Alibaba Qwen 27.8B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机
VibeVoice-ASR Microsoft 2.81B – 8.67B 64K MIT (宽松) 6.47 GB 笔记本或手机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡
FLUX 3 Image Klein Black Forest Labs 5.6B – FLUX Kommunity (附条件) 8 GB 笔记本或手机
Z-Image Tongyi MAI 6.15B – Apache 2.0 (宽松) 16 GB 笔记本或手机
MOSS-Image OpenMOSS 5.08B – Apache 2.0 (宽松) 4.2 GB 笔记本或手机
MiniMax H3-Image MiniMax 33.1B – MiniMax H3-Image Community (附条件) 155 GB 大内存台式机