如何自己评估 AI 模型:别只盯着基准测试图表
模型发布公告里的基准分数大多是自己公布的。学会建立小型测试集、公平地比较模型,并针对你的任务评判质量、速度、内存和许可证。
简短回答。 把已发布的基准分数当作线索,而不是答案。用你真实工作中的 20 到 50 个例子,以相同的设置运行每个候选模型,并用简单的评分标准给结果打分。然后在质量之外,一并比较速度、内存和许可证。
为什么基准测试图表可能误导人
开发者会在发布公告里公布基准分数,本站在这些数字出现的地方,都会标明是自己公布的。小心一点是有充分理由的:
- 开发者选择测试条件。 本站的模型页面反复给出同样的提醒:例如,Moonshot 公布的 Kimi K3.1 Pro 结果是用它自己选的测试框架测得的,DeepSeek V4.1 Flash 的部分提升来自针对特定测试框架的调优。
- 测试题可能泄漏。 如果基准测试的题目混进了训练数据,高分反映的可能是记忆而不是能力,这叫作数据污染。
- 热门测试会饱和。 当许多模型都接近满分时,这项测试就区分不了它们了。
- 你的任务不一样。 擅长竞赛数学的模型,写你的客服邮件时可能表现平平。
- 名称会变。 托管的模型名称可能被指向更新的模型。DeepSeek 旧的 API 名称(如 deepseek-v4-flash)现在由新模型提供服务,所以你固定在这个名称上的测试可能会变。自己运行模型、使用固定的文件,可以避免这个问题。基准测试有更多说明。
独立的信息来源及其用法
有些机构会在相同设置下运行许多模型,并发布综合指数;竞技场则收集人们对匿名并排回答的投票。开发者自己也常常引用这类指数,比如 Artificial Analysis 智能指数。这些来源比单个开发者的图表更可信,但它们衡量的仍是通用任务。请用它们建立两三个模型的候选清单,再用你自己的测试来做决定。
建立小型测试集
- 收集 20 到 50 个真实任务,来自你的实际工作:真实的问题、真实的文档、真实的音频或真实的提示词。
- 覆盖不同范围。 包含简单的、典型的和困难的情况,再加几个古怪的。
- 为每个任务写下“好”的标准: 正确答案,或者一份简短的评判要点。
- 加入正确答案是“我不知道”或拒绝回答的情形,看看模型会不会编造。幻觉是主要风险之一。
- 让测试集保持私密,并做好版本管理,这样已发布的模型无法用它来训练,你也能对比不同时间的结果。
公平地比较
- 对每个模型使用相同的提示词、上下文和工具。
- 使用开发者推荐的设置,比如模型卡上的思考模式或温度,并且每次运行都使用相同的设置。
- 测试你将要部署的版本。 4 位版本的表现可能与原版不同,所以请评估你实际要用的那个。量化详解讲了原因。
- 多运行几次。 模型的输出不是确定的,所以重要的用例要运行多次,并观察波动范围。
- 保持软件不变。 不同的推理引擎或版本,会改变速度,有时也会改变结果。
给回答打分
| 任务 | 如何评分 |
|---|---|
| 聊天和写作 | 由多人匿名并排阅读,用评分标准评判准确性、完整性、语气和格式 |
| 代码 | 运行单元测试或程序本身,记录通过率 |
| 信息提取和结构化输出 | 逐字段的准确率,以及输出是否符合你的数据格式 |
| 转写 | 在你自己的音频上计算词错误率,特别关注人名和数字。Whisper 可能凭空生成没有说过的词 |
| 搜索和检索 | 对你真实的查询,正确的段落是否出现在靠前的结果里 |
| 图像和视频 | 多人进行匿名并排投票,使用相同的提示词和随机种子 |
如果你用 AI 模型当评判,请给它明确的评分标准,并手动抽查它的一部分评分。评判模型倾向于偏爱更长的回答,以及看起来像自己写的回答。
不只衡量质量
稍微好一点、但慢十倍或者超出你硬件能力的模型,是错误的选择。请为每个候选记录:
- 速度: 在你的硬件上、使用你常用的上下文长度时,首个 token 的时间和每秒生成的 token 数。
- 内存: 峰值内存占用,包括处理最长输入时的 KV 缓存。
- 成本: 硬件、电费或托管费用。
- 许可证: 是否允许你的用途。参见AI 模型许可证详解。
- 可靠性: 多次运行之间的结果差异有多大,以及它是否遵循你的格式。
一份简单的评分表
根据你的优先级给每项标准分配权重,然后给每个候选打 1 到 5 分。例如:
| 标准 | 权重 |
|---|---|
| 在你的样例上的质量 | 50% |
| 在你的硬件上的速度 | 20% |
| 内存适配度和成本 | 15% |
| 许可证适配度 | 10% |
| 可靠性 | 5% |
权重可以由你自己调整。关键在于要在看到结果之前就定好权重,这样评分表就不会只是在印证你原本偏爱的那个。
持续进行
保存好你的测试集和结果。当出现有前景的新模型,或者你更换了量化方式、提示词或推理软件时,就把测试集再跑一遍。好的测试集是一项小小的资产,每次选模型时都会带来回报,如何选择开放 AI 模型展示了它在整个流程中的位置。
常见问题
- 我需要多少条测试样例?
- 二三十到五十条真实样例,就足以显示候选模型之间的明显差异。当模型表现接近,或者风险较高时,请使用一百条以上。
- 可以用 AI 模型给另一个模型的回答打分吗?
- 可以,作为初步筛选,但要谨慎。评判模型倾向于偏爱更长的回答和与自己风格相近的回答,所以请给它明确的评分标准,并自己抽查一部分评分。
- 该相信哪个基准测试?
- 没有哪一个是绝对可信的。优先选择在相同条件下运行所有模型的独立测试,用它们建立候选清单,最终决定则依据你自己的样例。
- 为什么我的结果和模型卡上的不一样?
- 开发者会选择最能展现模型的提示词、采样设置、工具和软件。不同的量化、不同的推理引擎或不同的提示词,都可能改变结果。
- 多久需要重新测试一次?
- 每当你更换模型版本、量化方式、提示词或推理软件时,以及出现有前景的新发布时。
本文关键术语
- 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
- 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
- 幻觉 幻觉是指 AI 模型信心十足地给出的虚假或编造的陈述。
- 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Kimi K3.1 Pro Moonshot AI | 2.8T 激活 104B | 1M | Kimi K3 License (附条件) | 1.72 TB 多机集群 | |
| DeepSeek V4.1 Flash DeepSeek | 552B 激活 16B | 1M | MIT (宽松) | 561 GB GPU 服务器 | |
| Ling-3.1-flash inclusionAI (Ant Group) | 560B 激活 25B | 1M | MIT (宽松) | 386 GB 大内存台式机 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| Whisper large-v3-turbo OpenAI | 810M – 1.54B | – | MIT (宽松) | 6 GB 笔记本或手机 | |
| Qwen3.8-27B Alibaba Qwen | 27.8B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 |