OmniDocBench

OmniDocBench は文書解析のベンチマークで、多様な種類の PDF ページをテキスト・表・数式へ変換するモデルの能力を採点します。

  • モデルの使い方
  • 更新日

OmniDocBench は 2024 年 12 月の論文で発表され、コードとデータは GitHub の opendatalab で公開されています。ページは学術論文、教科書、手書きメモ、密度の高い新聞など 9 種類の文書ソースから集められ、19 のレイアウトカテゴリと 15 の属性ラベルにアノテーションが付いています。本サイトの OCR モデルカードのほとんどがこのベンチマークのスコアを引用しています。

このベンチマークは改訂を重ねており、v1.5 や v1.6 などのバージョンや、派生データセットもあります。たとえば PaddlePaddle チームが v1.5 のデータから、スキャン・歪み・撮影されたページを集めて作った Real5-OmniDocBench です。バージョンが違えばスコアは比較できませんし、本サイトの数値は開発者自身が公表したものです。自分の文書でモデルを動かして、実際の出来栄えを確かめてください。

関連用語

  • OCR と文書解析 OCR は文字の画像をテキストに変換します。文書解析はさらに一歩進んで、表、数式、グラフ、読む順序を再構築します。多くは Markdown として出力します。
  • ベンチマーク(Benchmark) ベンチマークはモデルを比較するための標準化されたテストで、数学、コーディング、知識問題のセットなどが使われます。スコアは参考になりますが、読みすぎには注意が必要です。

すべての用語