Metodologia: como coletamos, verificamos e classificamos modelos de IA abertos

Como o ai-opensource.com decide o que listar, de onde vêm os fatos, como funcionam as estimativas de memória e as categorias de licença, e com que frequência as páginas são atualizadas e corrigidas.

  • Atualizado

Em resumo. Listamos apenas modelos cujos pesos qualquer pessoa pode baixar, coletamos fatos de fontes primárias, estimamos memória com uma fórmula publicada, classificamos licenças pelo que o texto da licença diz e mostramos uma data de atualização em cada página.

O que listamos

Um modelo está no catálogo se o público pode baixar seus pesos, incluindo downloads com acesso restrito que pedem aceitar uma licença antes. Não listamos modelos apenas por API, pesos vazados nem anúncios sem pesos. O catálogo é curado, não exaustivo: focamos em modelos atuais, amplamente usados ou tecnicamente notáveis, e marcamos os antigos como legacy em vez de apagá-los.

De onde vêm os fatos

Cada página de modelo cita suas fontes, e cada notícia também. Usamos fontes primárias nesta ordem:

  1. O arquivo de licença no repositório do modelo.
  2. O model card, os arquivos de configuração e os tamanhos reais dos checkpoints.
  3. O anúncio ou relatório técnico do desenvolvedor.
  4. Metadados de plataformas como a API do Hugging Face, e o repositório de código do projeto.

Não usamos boatos, publicações de redes sociais ou páginas agregadoras como única fonte de um número. Quando as fontes divergem, dizemos isso na página. A data de lançamento é o dia em que o desenvolvedor anunciou o modelo ou publicou os pesos, não o dia em que o repositório foi criado.

Benchmarks

Não executamos nossa própria suíte de benchmarks e não ranqueamos modelos por uma única pontuação. Os números de benchmark deste site são relatados pelos desenvolvedores, com a configuração de teste que eles escolheram, e são rotulados assim. Como avaliar modelos de IA por conta própria explica como testar um modelo no seu próprio trabalho.

Como estimamos memória

As estimativas são deliberadamente simples e conservadoras. Servem para planejar, não como garantia.

Formato Bytes por parâmetro
FP32 4
BF16, FP16 2
FP8, INT8 1
INT4, FP4 0.5
MXFP4 0.53
NVFP4 0.56
Ternário (pesos de −1, 0 ou +1, cerca de 1.75 bits por peso) 0.22
GGUF Q4 (Q4_K_M, cerca de 4.8 bits por peso) 0.6

A memória dos pesos é parâmetros multiplicado por bytes por parâmetro. Adicionamos 15% para buffers de execução e uma cache de contexto modesta. Então estas regras se aplicam:

  • Modelos de mistura de especialistas mantêm todos os especialistas na memória, então usamos os parâmetros totais, não os ativos. Os ativos afetam apenas a velocidade.
  • Modelos de linguagem são listados com uma estimativa em 4 bits, porque rotineiramente são quantizados. Se o desenvolvedor distribui pesos em 4 bits ou ternários, usamos em vez disso o tamanho real de download mais 10%.
  • Modelos de imagem, vídeo, voz, música e embeddings raramente são quantizados, então usamos os pesos como distribuídos mais 15%. Pipelines com vários componentes, como um codificador de texto separado, usam o download total.
  • O mínimo declarado pelo próprio desenvolvedor substitui nossa fórmula sempre que ele declara ou mede um.
  • Contextos longos precisam de mais. A cache chave-valor cresce a cada token, então um prompt longo pode precisar de muito mais do que esses números. O guia de memória tem um exemplo resolvido.

Em seguida, colocamos cada modelo em um nível de hardware por esse número:

Nível Até
Notebook ou celular 16 GB
GPU de gaming 32 GB
Workstation 96 GB
Desktop de muita memória 512 GB
Servidor GPU 1.536 GB
Cluster multinó Mais de 1.536 GB

Como classificamos licenças

Lemos o próprio arquivo de licença, não apenas o rótulo na página do modelo, e apontamos quando os dois divergem. Cada licença entra em um de três tipos:

  • Permissiva: você pode usar, modificar e vender o modelo, e as condições são leves, como manter o aviso. Apache 2.0 e MIT são exemplos.
  • Condicional: o uso comercial é permitido, com condições extras. As marcamos: atribuição, acordo de hospedagem, limite de receita, restrições territoriais, política de uso, revisão de segurança, filtragem de saída ou regras de nome.
  • Não comercial: apenas uso de pesquisa e pessoal. Uso comercial exige um acordo à parte.

Também mostramos se a Open Source Initiative aprovou a licença e a data em que verificamos o texto pela última vez. Isto é um auxílio de leitura, não aconselhamento jurídico. Licenças de IA explicadas oferece uma checklist para usar antes de lançar seu produto.

Listas, comparações e conjunto destacado

As listas de melhores e as comparações são escolhas editoriais. Cada uma declara seus critérios e dá uma razão para cada escolha. Os modelos destacados na página inicial são um conjunto curado de cerca de vinte, escolhidos para cobrir uma variedade de tamanhos e categorias. Estar em destaque não é um ranking. Quando o catálogo muda, revisamos as listas que mencionam os modelos afetados.

Atualizações e correções

Cada página mostra a data em que seus fatos foram verificados pela última vez. As notícias mostram a data do evento e a da nossa última verificação. Quando encontramos um erro, corrigimos a página e atualizamos sua data, e se a correção muda uma conclusão, dizemos isso na página. Por favor, relate erros pelo link de contato no rodapé.

Dados abertos

O catálogo é publicado como dados abertos: modelos em JSON e CSV, e licenças em JSON. Textos e dados são liberados sob CC BY 4.0, então você pode reutilizá-los com crédito.

Idiomas e assistência de IA

O inglês é a versão de referência, e as traduções o seguem. Usamos ferramentas de IA para ajudar na pesquisa e na redação, mas não publicamos um número que não possamos rastrear até uma fonte. Cada página de modelo traz pelo menos um link de fonte, e as notícias listam as suas.