如何自己评估 AI 模型:别只盯着基准测试图表

模型发布公告里的基准分数大多是自己公布的。学会建立小型测试集、公平地比较模型,并针对你的任务评判质量、速度、内存和许可证。

  • 进阶
  • 阅读约 5 分钟
  • 发布于
  • 更新于

简短回答。 把已发布的基准分数当作线索,而不是答案。用你真实工作中的 20 到 50 个例子,以相同的设置运行每个候选模型,并用简单的评分标准给结果打分。然后在质量之外,一并比较速度、内存和许可证。

为什么基准测试图表可能误导人

开发者会在发布公告里公布基准分数,本站在这些数字出现的地方,都会标明是自己公布的。小心一点是有充分理由的:

  • 开发者选择测试条件。 本站的模型页面反复给出同样的提醒:例如,Moonshot 公布的 Kimi K3.1 Pro 结果是用它自己选的测试框架测得的,DeepSeek V4.1 Flash 的部分提升来自针对特定测试框架的调优。
  • 测试题可能泄漏。 如果基准测试的题目混进了训练数据,高分反映的可能是记忆而不是能力,这叫作数据污染。
  • 热门测试会饱和。 当许多模型都接近满分时,这项测试就区分不了它们了。
  • 你的任务不一样。 擅长竞赛数学的模型,写你的客服邮件时可能表现平平。
  • 名称会变。 托管的模型名称可能被指向更新的模型。DeepSeek 旧的 API 名称(如 deepseek-v4-flash)现在由新模型提供服务,所以你固定在这个名称上的测试可能会变。自己运行模型、使用固定的文件,可以避免这个问题。基准测试有更多说明。

独立的信息来源及其用法

有些机构会在相同设置下运行许多模型,并发布综合指数;竞技场则收集人们对匿名并排回答的投票。开发者自己也常常引用这类指数,比如 Artificial Analysis 智能指数。这些来源比单个开发者的图表更可信,但它们衡量的仍是通用任务。请用它们建立两三个模型的候选清单,再用你自己的测试来做决定。

建立小型测试集

  1. 收集 20 到 50 个真实任务,来自你的实际工作:真实的问题、真实的文档、真实的音频或真实的提示词。
  2. 覆盖不同范围。 包含简单的、典型的和困难的情况,再加几个古怪的。
  3. 为每个任务写下“好”的标准: 正确答案,或者一份简短的评判要点。
  4. 加入正确答案是“我不知道”或拒绝回答的情形,看看模型会不会编造。幻觉是主要风险之一。
  5. 让测试集保持私密,并做好版本管理,这样已发布的模型无法用它来训练,你也能对比不同时间的结果。

公平地比较

  • 对每个模型使用相同的提示词、上下文和工具。
  • 使用开发者推荐的设置,比如模型卡上的思考模式或温度,并且每次运行都使用相同的设置。
  • 测试你将要部署的版本。 4 位版本的表现可能与原版不同,所以请评估你实际要用的那个。量化详解讲了原因。
  • 多运行几次。 模型的输出不是确定的,所以重要的用例要运行多次,并观察波动范围。
  • 保持软件不变。 不同的推理引擎或版本,会改变速度,有时也会改变结果。

给回答打分

任务 如何评分
聊天和写作 由多人匿名并排阅读,用评分标准评判准确性、完整性、语气和格式
代码 运行单元测试或程序本身,记录通过率
信息提取和结构化输出 逐字段的准确率,以及输出是否符合你的数据格式
转写 在你自己的音频上计算词错误率,特别关注人名和数字。Whisper 可能凭空生成没有说过的词
搜索和检索 对你真实的查询,正确的段落是否出现在靠前的结果里
图像和视频 多人进行匿名并排投票,使用相同的提示词和随机种子

如果你用 AI 模型当评判,请给它明确的评分标准,并手动抽查它的一部分评分。评判模型倾向于偏爱更长的回答,以及看起来像自己写的回答。

不只衡量质量

稍微好一点、但慢十倍或者超出你硬件能力的模型,是错误的选择。请为每个候选记录:

  • 速度: 在你的硬件上、使用你常用的上下文长度时,首个 token 的时间和每秒生成的 token 数。
  • 内存: 峰值内存占用,包括处理最长输入时的 KV 缓存。
  • 成本: 硬件、电费或托管费用。
  • 许可证: 是否允许你的用途。参见AI 模型许可证详解。
  • 可靠性: 多次运行之间的结果差异有多大,以及它是否遵循你的格式。

一份简单的评分表

根据你的优先级给每项标准分配权重,然后给每个候选打 1 到 5 分。例如:

标准 权重
在你的样例上的质量 50%
在你的硬件上的速度 20%
内存适配度和成本 15%
许可证适配度 10%
可靠性 5%

权重可以由你自己调整。关键在于要在看到结果之前就定好权重,这样评分表就不会只是在印证你原本偏爱的那个。

持续进行

保存好你的测试集和结果。当出现有前景的新模型,或者你更换了量化方式、提示词或推理软件时,就把测试集再跑一遍。好的测试集是一项小小的资产,每次选模型时都会带来回报,如何选择开放 AI 模型展示了它在整个流程中的位置。

常见问题

我需要多少条测试样例?
二三十到五十条真实样例,就足以显示候选模型之间的明显差异。当模型表现接近,或者风险较高时,请使用一百条以上。
可以用 AI 模型给另一个模型的回答打分吗?
可以,作为初步筛选,但要谨慎。评判模型倾向于偏爱更长的回答和与自己风格相近的回答,所以请给它明确的评分标准,并自己抽查一部分评分。
该相信哪个基准测试?
没有哪一个是绝对可信的。优先选择在相同条件下运行所有模型的独立测试,用它们建立候选清单,最终决定则依据你自己的样例。
为什么我的结果和模型卡上的不一样?
开发者会选择最能展现模型的提示词、采样设置、工具和软件。不同的量化、不同的推理引擎或不同的提示词,都可能改变结果。
多久需要重新测试一次?
每当你更换模型版本、量化方式、提示词或推理软件时,以及出现有前景的新发布时。

本文关键术语

  • 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
  • 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
  • 幻觉 幻觉是指 AI 模型信心十足地给出的虚假或编造的陈述。
  • 推理(Inference) 推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
  • 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Kimi K3.1 Pro Moonshot AI 2.8T 激活 104B 1M Kimi K3 License (附条件) 1.72 TB 多机集群
DeepSeek V4.1 Flash DeepSeek 552B 激活 16B 1M MIT (宽松) 561 GB GPU 服务器
Ling-3.1-flash inclusionAI (Ant Group) 560B 激活 25B 1M MIT (宽松) 386 GB 大内存台式机
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机
Qwen3.8-27B Alibaba Qwen 27.8B 256K Apache 2.0 (宽松) 19 GB 游戏显卡