方法说明:我们如何收集、核对和归类开源 AI 模型
ai-opensource.com 如何决定收录什么、事实从哪里来、内存估算和许可证分类如何运作,以及页面多久更新和更正一次。
一句话概括。 我们只收录任何人都能下载权重的模型,从原始来源获取事实,用公开的公式估算内存,按许可证文件的内容对许可证分类,并在每个页面上显示更新日期。
我们收录什么
只要公众可以下载某个模型的权重,它就会进入目录,包括需要先接受许可证才能下载的受限下载。我们不收录只提供 API 的模型、泄露的权重,以及没有发布权重的公告。目录是精心挑选的,而不是穷尽的:我们关注现行的、被广泛使用的或在技术上值得注意的模型,对较旧的模型标注为旧版,而不是删除。
事实从哪里来
每个模型页面都会引用它的来源,每条新闻也一样。我们按以下顺序使用原始来源:
- 模型仓库中的许可证文件。
- 模型卡、配置文件,以及检查点的真实文件大小。
- 开发者的发布公告或技术报告。
- 平台元数据(例如 Hugging Face API)和项目的代码仓库。
我们不会把传闻、社交媒体帖子或聚合页面作为某个数字的唯一来源。当不同来源互相矛盾时,我们会在页面上说明。发布日期是开发者宣布模型或发布权重的那一天,而不是仓库创建的日期。
基准测试
我们不运行自己的基准测试套件,也不用单一分数给模型排名。本站的基准数据由开发者报告,使用他们自选的测试设置,并且会这样标注。如何自己评估 AI 模型介绍了如何用你自己的工作来测试模型。
我们如何估算内存
估算刻意做得简单而保守。它们用于规划,不是保证。
| 格式 | 每个参数的字节数 |
|---|---|
| FP32 | 4 |
| BF16、FP16 | 2 |
| FP8、INT8 | 1 |
| INT4、FP4 | 0.5 |
| MXFP4 | 0.53 |
| NVFP4 | 0.56 |
| 三值(权重取 −1、0 或 +1,每个权重约 1.75 位) | 0.22 |
| GGUF Q4(Q4_K_M,每个权重约 4.8 位) | 0.6 |
权重所需的内存是参数量乘以每个参数的字节数。我们再加上 15%,用于运行时缓冲区和适度的上下文缓存。随后适用以下规则:
- 混合专家模型要把所有专家都放进内存,所以我们用总参数量,而不是激活参数量。激活参数量只影响速度。
- 语言模型按 4 位估算,因为它们通常都会被量化。如果开发者发布的是 4 位或三值权重,我们改用实际的下载大小再加 10%。
- 图像、视频、语音、音乐和嵌入模型很少被量化,所以我们使用发布的原样权重再加 15%。包含多个组件的流水线(例如单独的文本编码器)使用总下载大小。
- 开发者自己给出的最低要求,只要开发者声明过或实测过,就会覆盖我们的公式。
- 长上下文需要更多。 键值缓存会随每个 token 增长,所以较长的提示词所需的内存可能远超这些数字。内存指南里有一个演算示例。
然后我们根据这个数字,把每个模型归入一个硬件档位:
| 档位 | 上限 |
|---|---|
| 笔记本或手机 | 16 GB |
| 游戏显卡 | 32 GB |
| 工作站 | 96 GB |
| 大内存台式机 | 512 GB |
| GPU 服务器 | 1,536 GB |
| 多节点集群 | 超过 1,536 GB |
我们如何对许可证分类
我们阅读的是许可证文件本身,而不只是模型页面上的标签,并且会在两者不一致时加以说明。每份许可证属于以下三种类型之一:
- 宽松型: 你可以使用、修改和销售模型,条件很少,比如保留声明。Apache 2.0 和 MIT 就是例子。
- 有条件型: 允许商用,但附带额外条件。我们会给它们打标签:署名、托管协议、营收上限、地域限制、使用政策、安全审查、输出过滤或命名规则。
- 非商业型: 仅限研究和个人使用,商用需要另行签订协议。
我们还会显示开源促进会(Open Source Initiative)是否批准了该许可证,以及我们最后一次核对条文的日期。这只是阅读辅助,不是法律意见。AI 模型许可证详解给出了一份发布前可对照的清单。
榜单、对比与精选模型
最佳榜单和对比是编辑的选择。每一份都会写明标准,并为每个入选项给出理由。首页上的精选模型是约二十个经过挑选的模型,涵盖不同规模和类别。入选精选并不是排名。目录发生变化时,我们会复查提到相关模型的榜单。
更新与更正
每个页面都会显示其事实最后一次核对的日期。新闻会显示事件发生的日期以及我们最后一次核实的日期。发现错误时,我们会更正页面并更新日期,如果更正改变了结论,我们会在页面上说明。请通过页脚的联系链接报告错误。
开放数据
目录以开放数据的形式发布:模型有 JSON 和 CSV 格式,许可证有 JSON 格式。文字和数据以 CC BY 4.0 发布,你可以在注明出处的前提下重复使用。
语言与 AI 辅助
英文是参考版本,翻译跟随英文。我们使用 AI 工具辅助研究和起草,但不会发布无法追溯到来源的数字。每个模型页面都至少附有一个来源链接,新闻也会列出它们的来源。