OCR e análise de documentos

O OCR transforma a imagem de um texto em texto; a análise de documentos vai além e reconstrói tabelas, fórmulas, gráficos e a ordem de leitura, geralmente como Markdown.

  • Modelos e arquitetura
  • Atualizado

O OCR clássico localiza caracteres em uma imagem e devolve o texto. Os modelos OCR abertos modernos são pequenos modelos de visão e linguagem que leem uma página inteira e a reescrevem como Markdown, HTML ou JSON, mantendo títulos, tabelas e fórmulas no lugar. Vários também informam a posição de cada bloco na página, extraem campos de formulários ou traduzem o texto dentro das imagens.

A maioria desses modelos tem entre 800 milhões e 5 bilhões de parâmetros, por isso roda em uma única GPU de consumidor, e costuma ser usada para preparar PDFs para RAG. As pontuações de benchmark são reportadas pelos desenvolvedores, muitas vezes em versões diferentes do mesmo benchmark, então teste o modelo nos seus próprios escaneamentos antes de escolher, especialmente com manuscritos, páginas fotografadas e idiomas menos comuns.

Termos relacionados

  • Modelo de visão e linguagem (VLM) Um modelo de visão e linguagem lê imagens, e com frequência vídeos, junto com texto, então você pode fazer perguntas sobre uma foto, uma captura de tela ou uma página de documento.
  • Geração aumentada por recuperação (RAG) A geração aumentada por recuperação permite que um modelo responda com base nos seus próprios documentos recuperando os trechos relevantes e adicionando-os ao prompt.
  • OmniDocBench OmniDocBench é um benchmark de análise de documentos: ele pontua quão bem um modelo converte páginas PDF de muitos tipos em texto, tabelas e fórmulas.
  • Benchmark (teste de referência) Um benchmark é um teste padronizado usado para comparar modelos, como um conjunto de questões de matemática, programação ou conhecimento; as pontuações são úteis, mas fáceis de superinterpretar.

Todos os termos