OCR et analyse de documents

L'OCR transforme l'image d'un texte en texte ; l'analyse de documents va plus loin et reconstruit tableaux, formules, graphiques et ordre de lecture, généralement en Markdown.

  • Modèles et architecture
  • Mis à jour le

L'OCR classique repère des caractères dans une image et renvoie le texte. Les modèles OCR ouverts modernes sont de petits modèles vision-langage qui lisent une page entière et la réécrivent en Markdown, HTML ou JSON, en gardant titres, tableaux et formules en place. Plusieurs renvoient aussi la position de chaque bloc sur la page, extraient des champs de formulaires ou traduisent le texte présent dans les images.

La plupart de ces modèles ont entre 0,8 et 5 milliards de paramètres, donc ils tiennent sur une seule GPU grand public, et on les utilise souvent pour préparer des PDF pour le RAG. Les scores de benchmark sont rapportés par les développeurs, souvent sur des versions différentes du même benchmark ; testez donc un modèle sur vos propres scans avant de choisir, en particulier pour l'écriture manuscrite, les pages photographiées et les langues moins courantes.

Termes associés

  • Modèle vision-langage (VLM) Un modèle vision-langage lit les images, et souvent les vidéos, en même temps que du texte ; vous pouvez donc poser des questions sur une photo, une capture d'écran ou une page de document.
  • Génération augmentée par récupération (RAG) La génération augmentée par récupération permet à un modèle de répondre à partir de vos propres documents en récupérant les passages pertinents et en les ajoutant au prompt.
  • OmniDocBench OmniDocBench est un benchmark d'analyse de documents : il note la capacité d'un modèle à convertir des pages PDF de nombreux types en texte, tableaux et formules.
  • Benchmark (test de référence) Un benchmark est un test standardisé servant à comparer des modèles, comme une série de questions de mathématiques, de code ou de connaissances ; les scores sont utiles mais faciles à surestimer.

Tous les termes