OmniDocBench
OmniDocBench é um benchmark de análise de documentos: ele pontua quão bem um modelo converte páginas PDF de muitos tipos em texto, tabelas e fórmulas.
O OmniDocBench foi apresentado em um artigo de dezembro de 2024, com código e dados no GitHub sob opendatalab. Suas páginas vêm de nove fontes de documentos, incluindo artigos acadêmicos, livros didáticos, notas manuscritas e jornais densos, com anotações para 19 categorias de layout e 15 rótulos de atributos. A maioria das fichas de modelos OCR neste site cita uma pontuação nele.
O benchmark foi revisado, com versões como v1.5 e v1.6, e conjuntos derivados como o Real5-OmniDocBench, que a equipe do PaddlePaddle construiu a partir dos dados da v1.5 com páginas escaneadas, distorcidas e fotografadas. Pontuações de versões diferentes não são comparáveis, e os números deste site são dos próprios desenvolvedores. Rode um modelo nos seus próprios documentos para ver como ele se sai.
Termos relacionados
- OCR e análise de documentos O OCR transforma a imagem de um texto em texto; a análise de documentos vai além e reconstrói tabelas, fórmulas, gráficos e a ordem de leitura, geralmente como Markdown.
- Benchmark (teste de referência) Um benchmark é um teste padronizado usado para comparar modelos, como um conjunto de questões de matemática, programação ou conhecimento; as pontuações são úteis, mas fáceis de superinterpretar.