OCR и разбор документов
OCR превращает изображение текста в текст; разбор документов идёт дальше и восстанавливает таблицы, формулы, диаграммы и порядок чтения, обычно в виде Markdown.
Классический OCR находит символы на изображении и возвращает текст. Современные открытые OCR-модели — это небольшие визуально-языковые модели, которые читают целую страницу и записывают её обратно в Markdown, HTML или JSON, сохраняя заголовки, таблицы и формулы на своих местах. Некоторые также сообщают, где находится каждый блок на странице, извлекают поля из форм или переводят текст внутри изображений.
Большинство таких моделей имеет от 0,8 до 5 миллиардов параметров, поэтому работает на одной потребительской GPU, и их часто используют, чтобы подготовить PDF для RAG. Оценки бенчмарков сообщают сами разработчики, часто на разных версиях одного и того же бенчмарка, поэтому прежде чем выбирать, проверьте модель на своих собственных сканах — особенно на рукописном тексте, сфотографированных страницах и менее распространённых языках.
Связанные термины
- Визуально-языковая модель (VLM) Визуально-языковая модель читает изображения (часто и видео) вместе с текстом, поэтому можно задавать вопросы о фотографии, скриншоте или странице документа.
- Генерация, дополненная поиском (RAG) Генерация, дополненная поиском, позволяет модели отвечать на основе ваших собственных документов: она находит релевантные фрагменты и добавляет их в промпт.
- OmniDocBench OmniDocBench — бенчмарк разбора документов: он оценивает, насколько хорошо модель превращает PDF-страницы самых разных типов в текст, таблицы и формулы.
- Бенчмарк (Benchmark) Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.