MTEB(임베딩 벤치마크)
MTEB(Massive Text Embedding Benchmark, 대규모 텍스트 임베딩 벤치마크)는 검색, 분류, 클러스터링 등 다양한 작업에서 임베딩 모델의 점수를 매기며, 공개 리더보드는 모델을 비교하는 흔한 방법입니다.
MTEB는 2022년 10월의 논문에서 소개되었습니다. 초기 버전은 8가지 작업 유형, 58개 데이터셋, 112개 언어를 다뤘으며, 이후 벤치마크는 계속 확장되어 왔습니다. 모델은 작업별 점수와 평균 점수를 받고, 오픈소스 코드와 공개 리더보드 덕분에 누구나 모델을 비교할 수 있습니다.
모델 카드의 점수는 대개 자체 측정 결과이며, 평균 점수가 높다고 해서 여러분의 데이터에 가장 적합한 것은 아닙니다. 모델은 공개 테스트셋에 맞춰 조정되었을 수 있고, 여러분의 문서는 다른 언어나 도메인일 수 있습니다. 실제 질문과 그에 답하는 문단으로 작은 테스트셋을 만들어, 각 모델이 올바른 문단을 찾는 빈도를 직접 측정해 보세요.
관련 용어
- 임베딩 모델(Embedding model) 임베딩 모델은 텍스트나 이미지 같은 데이터를 그 의미를 담은 숫자 목록으로 바꿔서, 비슷한 항목들이 서로 가까운 위치에 놓이게 합니다.
- 벤치마크(Benchmark) 벤치마크는 모델을 비교하기 위한 표준화된 테스트로, 수학, 코딩, 지식 문제 세트 등이 사용됩니다. 점수는 참고가 되지만 과대해석하기 쉽습니다.
- 검색 증강 생성(RAG) 검색 증강 생성(RAG)은 관련 문단을 검색해 프롬프트에 추가함으로써, 모델이 여러분 자신의 문서를 근거로 답하게 만듭니다.