Методология: как мы собираем, проверяем и классифицируем открытые ИИ-модели
Как ai-opensource.com решает, что включать в каталог, откуда берутся факты, как работают оценки памяти и категории лицензий, как часто обновляются и исправляются страницы.
Коротко. Мы включаем только модели, веса которых может скачать любой, берём факты из первоисточников, оцениваем память по опубликованной формуле, классифицируем лицензии по тексту лицензионного файла и показываем дату обновления на каждой странице.
Что мы включаем
Модель попадает в каталог, если веса доступны для публичного скачивания, включая gated-загрузки, где нужно сначала принять лицензию. Мы не включаем модели «только API», утёкшие веса и анонсы без весов. Каталог курируемый, а не исчерпывающий: мы сосредоточены на актуальных, широко используемых или технически примечательных моделях, а старые помечаем как legacy, не удаляя их.
Откуда берутся факты
Каждая страница модели цитирует свои источники, и каждая новость тоже. Первоисточники мы используем в таком порядке:
- Файл лицензии в репозитории модели.
- Карточка модели, файлы конфигурации и реальные размеры чекпоинтов.
- Анонс или технический отчёт разработчика.
- Метаданные платформ вроде API Hugging Face и код-репозиторий проекта.
Слухи, посты в соцсетях и страницы-агрегаторы мы не используем как единственный источник числа. Если источники расходятся, мы пишем об этом на странице. Дата релиза — день, когда разработчик объявил модель или опубликовал веса, а не день создания репозитория.
Бенчмарки
Мы не запускаем собственный набор бенчмарков и не ранжируем модели по одной оценке. Цифры бенчмарков на сайте сообщаются разработчиками, с выбранной ими методикой теста, и помечаются соответствующим образом. В статье Как самому оценить ИИ-модель объясняется, как проверить модель на своей задаче.
Как мы оцениваем память
Оценки намеренно просты и консервативны. Они для планирования, а не гарантия.
| Формат | Байт на параметр |
|---|---|
| FP32 | 4 |
| BF16, FP16 | 2 |
| FP8, INT8 | 1 |
| INT4, FP4 | 0.5 |
| MXFP4 | 0.53 |
| NVFP4 | 0.56 |
| Ternary (веса −1, 0 или +1, около 1.75 бита на вес) | 0.22 |
| GGUF Q4 (Q4_K_M, около 4.8 бита на вес) | 0.6 |
Память для весов — это параметры, умноженные на байты на параметр. Мы добавляем 15 % на буферы времени выполнения и умеренный кеш контекста. Затем действуют правила:
- Модели со смесью экспертов (MoE) держат всех экспертов в памяти, поэтому мы считаем по общему числу параметров, а не активных. Активные влияют только на скорость.
- Языковые модели приводятся с оценкой в 4 бита, поскольку их обычно квантуют. Если разработчик поставляет веса в 4 битах или ternary, мы берём фактический размер загрузки плюс 10 %.
- Модели изображений, видео, речи, музыки и эмбеддингов редко квантуют, поэтому мы берём веса как поставляются плюс 15 %. Пайплайны с несколькими компонентами, например отдельным текстовым энкодером, считаются по полному объёму загрузки.
- Собственный минимум разработчика перекрывает нашу формулу, когда он его указывает или измеряет.
- Длинный контекст требует больше. KV-кеш растёт с каждым токеном, поэтому длинный промпт может потребовать куда больше этих цифр. В руководстве по памяти есть разобранный пример.
Затем по этому числу мы относим модель к классу железа:
| Класс | До |
|---|---|
| Ноутбук или телефон | 16 ГБ |
| Игровая GPU | 32 ГБ |
| Рабочая станция | 96 ГБ |
| Десктоп с большим объёмом памяти | 512 ГБ |
| GPU-сервер | 1 536 ГБ |
| Кластер из нескольких узлов | больше 1 536 ГБ |
Как мы классифицируем лицензии
Мы читаем сам файл лицензии, а не только надпись на странице модели, и отмечаем, когда они расходятся. Каждая лицензия относится к одному из трёх типов:
- Permissive (свободная): модель можно использовать, изменять и продавать; условия минимальны — например, сохранить уведомление. Примеры — Apache 2.0 и MIT.
- Conditional (условная): коммерческое использование разрешено с дополнительными условиями. Мы помечаем их: указание авторства, соглашение о хостинге, ограничение по выручке, территориальные ограничения, политика использования, проверка безопасности, фильтрация вывода или правила именования.
- Non-commercial (некоммерческая): только исследования и личное использование. Для коммерческого нужно отдельное соглашение.
Мы также показываем, одобрена ли лицензия Open Source Initiative, и дату последней проверки текста. Это подсказка для чтения, а не юридическая консультация. В статье Лицензии ИИ простым языком есть чек-лист перед запуском продукта.
Подборки, сравнения и featured-набор
Подборки лучших и сравнения — редакционные выборы. Каждый из них указывает критерии и даёт причину для каждого выбора. Модели на главной — курируемый набор примерно из двадцати, подобранный так, чтобы охватить разные размеры и категории. Попадание в featured — не рейтинг. Когда каталог меняется, мы пересматриваем подборки, где упоминаются затронутые модели.
Обновления и исправления
На каждой странице указана дата последней проверки фактов. В новостях — дата события и дата нашей последней проверки. Найдя ошибку, мы правим страницу и обновляем дату, а если исправление меняет вывод, говорим об этом на странице. Об ошибках сообщайте по ссылке для связи в подвале.
Открытые данные
Каталог публикуется как открытые данные: модели в JSON и CSV, лицензии в JSON. Тексты и данные выпущены под CC BY 4.0 — можно переиспользовать с указанием авторства.
Языки и помощь ИИ
Английский — базовая версия, переводы следуют за ней. Мы используем ИИ-инструменты для исследования и черновиков, но не публикуем число, которое не можем проследить до источника. На каждой странице модели есть хотя бы одна ссылка на источник, а в новостях перечислены их источники.