OmniDocBench
OmniDocBench는 문서 파싱 벤치마크로, 다양한 유형의 PDF 페이지를 텍스트, 표, 수식으로 바꾸는 모델의 능력을 채점합니다.
OmniDocBench는 2024년 12월 논문에서 소개되었으며, 코드와 데이터는 GitHub의 opendatalab에서 공개되어 있습니다. 페이지는 학술 논문, 교과서, 손글씨 메모, 조밀한 신문 등 아홉 가지 문서 출처에서 왔으며, 19개 레이아웃 범주와 15개 속성 라벨에 대한 주석이 달려 있습니다. 이 사이트의 OCR 모델 카드 대부분이 이 벤치마크 점수를 인용합니다.
이 벤치마크는 개정을 거쳐 v1.5, v1.6 같은 버전이 있고, Real5-OmniDocBench 같은 파생 세트도 있습니다. 이는 PaddlePaddle 팀이 v1.5 데이터로부터 스캔, 왜곡, 촬영된 페이지를 모아 만든 것입니다. 버전이 다르면 점수를 비교할 수 없으며, 이 사이트의 수치는 개발자들 자신의 것입니다. 모델을 여러분의 문서에 직접 돌려 어떻게 대응하는지 확인하세요.
관련 용어
- OCR 및 문서 파싱 OCR은 문자가 담긴 이미지를 텍스트로 바꿉니다. 문서 파싱은 한 단계 더 나아가 표, 수식, 차트, 읽기 순서를 재구성하며, 보통 Markdown으로 출력합니다.
- 벤치마크(Benchmark) 벤치마크는 모델을 비교하기 위한 표준화된 테스트로, 수학, 코딩, 지식 문제 세트 등이 사용됩니다. 점수는 참고가 되지만 과대해석하기 쉽습니다.