OCR 与文档解析
OCR 把图片中的文字转成文本;文档解析则更进一步,重建表格、公式、图表和阅读顺序,通常输出 Markdown。
传统 OCR 在图像中找出字符并返回文本。现代的开放 OCR 模型是小型视觉语言模型,能读取整页内容并以 Markdown、HTML 或 JSON 写回,保留标题、表格和公式的位置。有几个模型还会返回每个内容块在页面上的位置、从表单中提取字段,或翻译图像里的文字。
这类模型大多有 8 亿到 50 亿参数,一张消费级 GPU 就能运行,常用来为 RAG 处理 PDF。基准分数由开发者自己公布,而且常常是在同一基准的不同版本上测得的,所以选择之前请先在你自己的扫描件上测试,尤其是手写体、拍照的页面和不太常见的语言。
相关术语
- 视觉语言模型(VLM) 视觉语言模型能同时读取图像(通常还有视频)和文本,所以你可以针对一张图片、一张截图或一页文档提问。
- 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
- OmniDocBench OmniDocBench 是文档解析基准:它给模型把各种类型的 PDF 页面转成文本、表格和公式的能力打分。
- 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。