벤치마크(Benchmark)

벤치마크는 모델을 비교하기 위한 표준화된 테스트로, 수학, 코딩, 지식 문제 세트 등이 사용됩니다. 점수는 참고가 되지만 과대해석하기 쉽습니다.

  • 모델 활용
  • 업데이트

개발자는 발표에서 벤치마크 점수를 공개하고, 독립 단체는 자체 테스트를 하거나 아레나에서 사람들의 투표를 수집합니다. 개발자가 보고한 점수는 자체 보고이며, 그 이면의 설정은 모델을 가장 유리하게 보여 주도록 고른 경우가 많습니다.

테스트 문제가 학습 데이터로 새어 들어가면 벤치마크가 오염될 수 있고, 높은 점수가 당신의 작업에 모델이 맞는다고 보장하지 않습니다. 이 사이트는 개발자 보고 수치를 그렇게 표시하고, 후보 모델을 자신의 예시로 테스트해 볼 것을 권합니다.

관련 용어

  • 추론 모델(Reasoning Model) 추론 모델은 최종 답을 내기 전에 보이거나 숨겨진 '생각' 단계에서 문제를 한 걸음씩 풀어 나갑니다.
  • AI 에이전트 AI 에이전트는 모델이 도구를 호출하며 다단계 작업을 계획하고 수행하는 시스템입니다. 코드 실행, 웹 검색, 파일 편집 등이 그 예입니다.
  • 할루시네이션(Hallucination) 할루시네이션은 AI 모델이 확신에 찬 듯 내놓는 거짓 또는 지어낸 진술입니다.

전체 용어