OmniDocBench

OmniDocBench — бенчмарк разбора документов: он оценивает, насколько хорошо модель превращает PDF-страницы самых разных типов в текст, таблицы и формулы.

  • Использование моделей
  • Обновлено

OmniDocBench был представлен в статье декабря 2024 года, код и данные размещены на GitHub под opendatalab. Его страницы взяты из девяти типов источников: научные статьи, учебники, рукописные заметки, плотные газеты и другие, с аннотациями по 19 категориям вёрстки и 15 меткам атрибутов. Большинство карточек OCR-моделей на этом сайте цитируют оценку по нему.

Бенчмарк пересматривался: есть версии вроде v1.5 и v1.6, а также производные наборы, такие как Real5-OmniDocBench, который команда PaddlePaddle собрала из данных v1.5 со сканированными, искажёнными и сфотографированными страницами. Оценки разных версий несопоставимы, а числа на этом сайте — от самих разработчиков. Запустите модель на собственных документах и посмотрите, как она справляется.

Связанные термины

  • OCR и разбор документов OCR превращает изображение текста в текст; разбор документов идёт дальше и восстанавливает таблицы, формулы, диаграммы и порядок чтения, обычно в виде Markdown.
  • Бенчмарк (Benchmark) Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.

Все термины