벤치마크(Benchmark)
벤치마크는 모델을 비교하기 위한 표준화된 테스트로, 수학, 코딩, 지식 문제 세트 등이 사용됩니다. 점수는 참고가 되지만 과대해석하기 쉽습니다.
개발자는 발표에서 벤치마크 점수를 공개하고, 독립 단체는 자체 테스트를 하거나 아레나에서 사람들의 투표를 수집합니다. 개발자가 보고한 점수는 자체 보고이며, 그 이면의 설정은 모델을 가장 유리하게 보여 주도록 고른 경우가 많습니다.
테스트 문제가 학습 데이터로 새어 들어가면 벤치마크가 오염될 수 있고, 높은 점수가 당신의 작업에 모델이 맞는다고 보장하지 않습니다. 이 사이트는 개발자 보고 수치를 그렇게 표시하고, 후보 모델을 자신의 예시로 테스트해 볼 것을 권합니다.
관련 용어
- 추론 모델(Reasoning Model) 추론 모델은 최종 답을 내기 전에 보이거나 숨겨진 '생각' 단계에서 문제를 한 걸음씩 풀어 나갑니다.
- AI 에이전트 AI 에이전트는 모델이 도구를 호출하며 다단계 작업을 계획하고 수행하는 시스템입니다. 코드 실행, 웹 검색, 파일 편집 등이 그 예입니다.
- 할루시네이션(Hallucination) 할루시네이션은 AI 모델이 확신에 찬 듯 내놓는 거짓 또는 지어낸 진술입니다.