OCR と文書解析
OCR は文字の画像をテキストに変換します。文書解析はさらに一歩進んで、表、数式、グラフ、読む順序を再構築します。多くは Markdown として出力します。
従来の OCR は画像の中から文字を見つけてテキストを返します。現代のオープンな OCR モデルは小型の視覚言語モデルで、ページ全体を読み取り、見出し・表・数式の配置を保ったまま Markdown、HTML、JSON として書き戻します。さらに、各ブロックのページ上の位置を返したり、フォームから項目を抽出したり、画像内のテキストを翻訳したりするモデルもあります。
こうしたモデルの多くは 8 億から 50 億パラメータ程度なので、消費者向け GPU 1 枚で動作し、RAG 向けに PDF を前処理する目的でよく使われます。ベンチマークのスコアは開発者が公表したもので、同じベンチマークの別バージョンで測られていることも多いので、選ぶ前に自分のスキャン画像で試してください。特に手書き文字、撮影したページ、あまり一般的でない言語では注意が必要です。
関連用語
- 視覚言語モデル(VLM) 視覚言語モデルは画像(多くの場合動画も)とテキストを一緒に読めるため、写真、スクリーンショット、文書ページについて質問できます。
- 検索拡張生成(RAG) 検索拡張生成(RAG)は、関連する段落を検索してプロンプトに加えることで、モデルがあなた自身の文書に基づいて回答できるようにする仕組みです。
- OmniDocBench OmniDocBench は文書解析のベンチマークで、多様な種類の PDF ページをテキスト・表・数式へ変換するモデルの能力を採点します。
- ベンチマーク(Benchmark) ベンチマークはモデルを比較するための標準化されたテストで、数学、コーディング、知識問題のセットなどが使われます。スコアは参考になりますが、読みすぎには注意が必要です。