OmniDocBench
OmniDocBench est un benchmark d'analyse de documents : il note la capacité d'un modèle à convertir des pages PDF de nombreux types en texte, tableaux et formules.
OmniDocBench a été présenté dans un article de décembre 2024, avec le code et les données sur GitHub sous opendatalab. Ses pages proviennent de neuf sources documentaires, notamment des articles académiques, des manuels scolaires, des notes manuscrites et des journaux denses, avec des annotations pour 19 catégories de mise en page et 15 étiquettes d'attributs. La plupart des fiches de modèles OCR de ce site citent un score obtenu sur ce benchmark.
Le benchmark a été révisé, avec des versions comme v1.5 et v1.6, et des ensembles dérivés comme Real5-OmniDocBench, que l'équipe de PaddlePaddle a construit à partir des données de la v1.5 avec des pages numérisées, déformées et photographiées. Les scores de versions différentes ne sont pas comparables, et les chiffres de ce site sont ceux des développeurs eux-mêmes. Faites tourner un modèle sur vos propres documents pour voir comment il s'en sort.
Termes associés
- OCR et analyse de documents L'OCR transforme l'image d'un texte en texte ; l'analyse de documents va plus loin et reconstruit tableaux, formules, graphiques et ordre de lecture, généralement en Markdown.
- Benchmark (test de référence) Un benchmark est un test standardisé servant à comparer des modèles, comme une série de questions de mathématiques, de code ou de connaissances ; les scores sont utiles mais faciles à surestimer.