ベンチマーク(Benchmark)
ベンチマークはモデルを比較するための標準化されたテストで、数学、コーディング、知識問題のセットなどが使われます。スコアは参考になりますが、読みすぎには注意が必要です。
開発者は発表の中でベンチマークのスコアを公表し、独立した団体は独自のテストを実施したり、アリーナで人間の投票を集めたりしています。開発者が報告したスコアは自己申告であり、その背後の設定はモデルを最もよく見せるように選ばれていることが多いです。
テスト問題が学習データに漏れるとベンチマークは汚染されることがあり、高いスコアがそのタスクへの適性を保証するわけではありません。本サイトでは開発者報告の数値にはその旨を明記し、候補を絞ったモデルを自分のサンプルでテストすることを推奨しています。
関連用語
- 推論モデル(Reasoning Model) 推論モデルは、最終的な答えを出す前に、見えるかどうかは別として「思考」フェーズで問題を一歩一歩掘り下げます。
- AI エージェント AI エージェントとは、モデルがツールを呼び出して多段階のタスクを計画・実行するシステムです。コードの実行、ウェブ検索、ファイル編集などを行います。
- ハルシネーション(Hallucination) ハルシネーションとは、AI モデルが自信たっぷりに述べる、誤りのある、あるいはでっち上げの主張のことです。