基准测试(Benchmark)

基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。

  • 使用模型
  • 更新于

开发者会在发布公告里公布基准测试分数,独立机构则会自己做测试,或在竞技场里收集人类投票。开发者报告的分数属于自测,背后的设置往往选择了最能展示模型优势的方案。

如果测试题泄漏到训练数据中,基准测试可能被污染,而高分也不能保证模型适合你的任务。本站会把开发者报告的数字标注出来,并建议你用自己的样例测试几个候选模型。

相关术语

  • 推理模型(Reasoning Model) 推理模型在给出最终答案之前,会先经过一个可见或不可见的“思考”阶段,一步一步地解决问题。
  • AI 智能体 AI 智能体是指由模型规划并完成多步任务的系统,它通过调用工具来行动,例如运行代码、搜索网页或编辑文件。
  • 幻觉 幻觉是指 AI 模型信心十足地给出的虚假或编造的陈述。

继续阅读

全部术语