OmniDocBench

OmniDocBench ist ein Benchmark für Dokumentenanalyse: Er bewertet, wie gut ein Modell PDF-Seiten vieler Arten in Text, Tabellen und Formeln umwandelt.

  • Modelle verwenden
  • Aktualisiert

OmniDocBench wurde in einem Paper vom Dezember 2024 vorgestellt, mit Code und Daten auf GitHub unter opendatalab. Seine Seiten stammen aus neun Dokumentquellen, darunter wissenschaftliche Aufsätze, Lehrbücher, handschriftliche Notizen und dichte Zeitungen, mit Annotationen für 19 Layoutkategorien und 15 Attributlabels. Die meisten OCR-Modellkarten auf dieser Website zitieren einen Score darauf.

Der Benchmark wurde überarbeitet, mit Versionen wie v1.5 und v1.6, sowie abgeleiteten Sätzen wie Real5-OmniDocBench, den das PaddlePaddle-Team aus den v1.5-Daten mit gescannten, verzerrten und fotografierten Seiten erstellte. Scores aus verschiedenen Versionen sind nicht vergleichbar, und die Zahlen auf dieser Website stammen von den Entwicklern selbst. Führen Sie ein Modell auf Ihren eigenen Dokumenten aus, um zu sehen, wie es zurechtkommt.

Verwandte Begriffe

  • OCR und Dokumentenanalyse OCR macht aus einem Bild von Text echten Text; die Dokumentenanalyse geht weiter und rekonstruiert Tabellen, Formeln, Diagramme und Lesereihenfolge, meist als Markdown.
  • Benchmark Ein Benchmark ist ein standardisierter Test zum Vergleich von Modellen, etwa ein Satz Mathe-, Coding- oder Wissensfragen; die Scores sind nützlich, aber leicht überzuinterpretieren.

Alle Begriffe