Методология: как мы собираем, проверяем и классифицируем открытые ИИ-модели

Как ai-opensource.com решает, что включать в каталог, откуда берутся факты, как работают оценки памяти и категории лицензий, как часто обновляются и исправляются страницы.

  • Обновлено

Коротко. Мы включаем только модели, веса которых может скачать любой, берём факты из первоисточников, оцениваем память по опубликованной формуле, классифицируем лицензии по тексту лицензионного файла и показываем дату обновления на каждой странице.

Что мы включаем

Модель попадает в каталог, если веса доступны для публичного скачивания, включая gated-загрузки, где нужно сначала принять лицензию. Мы не включаем модели «только API», утёкшие веса и анонсы без весов. Каталог курируемый, а не исчерпывающий: мы сосредоточены на актуальных, широко используемых или технически примечательных моделях, а старые помечаем как legacy, не удаляя их.

Откуда берутся факты

Каждая страница модели цитирует свои источники, и каждая новость тоже. Первоисточники мы используем в таком порядке:

  1. Файл лицензии в репозитории модели.
  2. Карточка модели, файлы конфигурации и реальные размеры чекпоинтов.
  3. Анонс или технический отчёт разработчика.
  4. Метаданные платформ вроде API Hugging Face и код-репозиторий проекта.

Слухи, посты в соцсетях и страницы-агрегаторы мы не используем как единственный источник числа. Если источники расходятся, мы пишем об этом на странице. Дата релиза — день, когда разработчик объявил модель или опубликовал веса, а не день создания репозитория.

Бенчмарки

Мы не запускаем собственный набор бенчмарков и не ранжируем модели по одной оценке. Цифры бенчмарков на сайте сообщаются разработчиками, с выбранной ими методикой теста, и помечаются соответствующим образом. В статье Как самому оценить ИИ-модель объясняется, как проверить модель на своей задаче.

Как мы оцениваем память

Оценки намеренно просты и консервативны. Они для планирования, а не гарантия.

Формат Байт на параметр
FP32 4
BF16, FP16 2
FP8, INT8 1
INT4, FP4 0.5
MXFP4 0.53
NVFP4 0.56
Ternary (веса −1, 0 или +1, около 1.75 бита на вес) 0.22
GGUF Q4 (Q4_K_M, около 4.8 бита на вес) 0.6

Память для весов — это параметры, умноженные на байты на параметр. Мы добавляем 15 % на буферы времени выполнения и умеренный кеш контекста. Затем действуют правила:

  • Модели со смесью экспертов (MoE) держат всех экспертов в памяти, поэтому мы считаем по общему числу параметров, а не активных. Активные влияют только на скорость.
  • Языковые модели приводятся с оценкой в 4 бита, поскольку их обычно квантуют. Если разработчик поставляет веса в 4 битах или ternary, мы берём фактический размер загрузки плюс 10 %.
  • Модели изображений, видео, речи, музыки и эмбеддингов редко квантуют, поэтому мы берём веса как поставляются плюс 15 %. Пайплайны с несколькими компонентами, например отдельным текстовым энкодером, считаются по полному объёму загрузки.
  • Собственный минимум разработчика перекрывает нашу формулу, когда он его указывает или измеряет.
  • Длинный контекст требует больше. KV-кеш растёт с каждым токеном, поэтому длинный промпт может потребовать куда больше этих цифр. В руководстве по памяти есть разобранный пример.

Затем по этому числу мы относим модель к классу железа:

Класс До
Ноутбук или телефон 16 ГБ
Игровая GPU 32 ГБ
Рабочая станция 96 ГБ
Десктоп с большим объёмом памяти 512 ГБ
GPU-сервер 1 536 ГБ
Кластер из нескольких узлов больше 1 536 ГБ

Как мы классифицируем лицензии

Мы читаем сам файл лицензии, а не только надпись на странице модели, и отмечаем, когда они расходятся. Каждая лицензия относится к одному из трёх типов:

  • Permissive (свободная): модель можно использовать, изменять и продавать; условия минимальны — например, сохранить уведомление. Примеры — Apache 2.0 и MIT.
  • Conditional (условная): коммерческое использование разрешено с дополнительными условиями. Мы помечаем их: указание авторства, соглашение о хостинге, ограничение по выручке, территориальные ограничения, политика использования, проверка безопасности, фильтрация вывода или правила именования.
  • Non-commercial (некоммерческая): только исследования и личное использование. Для коммерческого нужно отдельное соглашение.

Мы также показываем, одобрена ли лицензия Open Source Initiative, и дату последней проверки текста. Это подсказка для чтения, а не юридическая консультация. В статье Лицензии ИИ простым языком есть чек-лист перед запуском продукта.

Подборки лучших и сравнения — редакционные выборы. Каждый из них указывает критерии и даёт причину для каждого выбора. Модели на главной — курируемый набор примерно из двадцати, подобранный так, чтобы охватить разные размеры и категории. Попадание в featured — не рейтинг. Когда каталог меняется, мы пересматриваем подборки, где упоминаются затронутые модели.

Обновления и исправления

На каждой странице указана дата последней проверки фактов. В новостях — дата события и дата нашей последней проверки. Найдя ошибку, мы правим страницу и обновляем дату, а если исправление меняет вывод, говорим об этом на странице. Об ошибках сообщайте по ссылке для связи в подвале.

Открытые данные

Каталог публикуется как открытые данные: модели в JSON и CSV, лицензии в JSON. Тексты и данные выпущены под CC BY 4.0 — можно переиспользовать с указанием авторства.

Языки и помощь ИИ

Английский — базовая версия, переводы следуют за ней. Мы используем ИИ-инструменты для исследования и черновиков, но не публикуем число, которое не можем проследить до источника. На каждой странице модели есть хотя бы одна ссылка на источник, а в новостях перечислены их источники.