MTEB (бенчмарк эмбеддингов)

MTEB, Massive Text Embedding Benchmark, оценивает модели эмбеддингов на множестве задач, таких как поиск, классификация и кластеризация, а его публичный лидерборд — распространённый способ их сравнения.

  • Использование моделей
  • Обновлено

MTEB был представлен в статье октября 2022 года. Первая версия охватывала 8 типов задач, 58 наборов данных и 112 языков, и с тех пор бенчмарк был расширен. Модель получает оценку за каждую задачу и среднее значение, а открытый код и публичный лидерборд позволяют любому сравнивать модели.

Оценки в карточках моделей обычно сообщаются самими разработчиками, и высокий средний балл не делает модель лучшей для ваших данных. Модели могут быть подогнаны под публичные тестовые наборы, а ваши документы могут быть на другом языке или из другой области. Соберите небольшой тестовый набор из реальных вопросов и фрагментов текста, которые на них отвечают, и измерьте, как часто каждая модель находит правильный фрагмент.

Связанные термины

  • Эмбеддинг-модель Эмбеддинг-модель превращает текст, изображения или другие данные в список чисел, отражающий их смысл, так что похожие элементы оказываются рядом друг с другом.
  • Бенчмарк (Benchmark) Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.
  • Генерация, дополненная поиском (RAG) Генерация, дополненная поиском, позволяет модели отвечать на основе ваших собственных документов: она находит релевантные фрагменты и добавляет их в промпт.

Все термины