OCR y análisis de documentos
El OCR convierte en texto la imagen de un texto; el análisis de documentos va más allá y reconstruye tablas, fórmulas, gráficos y el orden de lectura, normalmente como Markdown.
El OCR clásico localiza caracteres en una imagen y devuelve el texto. Los modelos OCR abiertos modernos son pequeños modelos de visión y lenguaje que leen una página entera y la escriben de vuelta como Markdown, HTML o JSON, conservando encabezados, tablas y fórmulas en su sitio. Varios devuelven además dónde está cada bloque en la página, extraen campos de formularios o traducen el texto dentro de las imágenes.
La mayoría de estos modelos tiene entre 800 millones y 5.000 millones de parámetros, así que funcionan en una sola GPU de consumo, y a menudo se usan para preparar PDF para RAG. Las puntuaciones de benchmark las reportan los desarrolladores, a menudo en versiones distintas del mismo benchmark, así que prueba el modelo con tus propios escaneos antes de elegir, sobre todo con caligrafía manual, páginas fotografiadas e idiomas menos comunes.
Términos relacionados
- Modelo de visión y lenguaje (VLM) Un modelo de visión y lenguaje lee imágenes, y a menudo vídeo, junto con texto, así que puedes hacer preguntas sobre una foto, una captura de pantalla o una página de documento.
- Generación aumentada por recuperación (RAG) La generación aumentada por recuperación permite que un modelo responda a partir de tus propios documentos recuperando los pasajes relevantes y añadiéndolos al prompt.
- OmniDocBench OmniDocBench es un benchmark de análisis de documentos: puntúa lo bien que un modelo convierte páginas PDF de muchos tipos en texto, tablas y fórmulas.
- Benchmark (prueba de referencia) Un benchmark es una prueba estandarizada para comparar modelos, como un conjunto de preguntas de matemáticas, programación o conocimiento; las puntuaciones son útiles pero fáciles de sobreinterpretar.