Parâmetros
Parâmetros são os números dentro de um modelo que são ajustados durante o treinamento; sua contagem, como 7B ou 70B, é a medida usual do tamanho de um modelo.
Um parâmetro é um único número aprendido, geralmente um peso. Um modelo com 7 bilhões de parâmetros, escrito 7B, armazena sete bilhões deles. Mais parâmetros geralmente dão a um modelo mais capacidade de aprendizado, mas também significam um download maior e mais memória para executar.
A contagem pode enganar nos modelos de mistura de especialistas, que listam um total e um número ativo menor usado para cada token. Um modelo de '120B no total, 5B ativos' precisa de memória para o total, mas calcula apenas com a parte ativa. A contagem de parâmetros sozinha também não diz a qualidade: os dados de treinamento, o método de treinamento e a arquitetura importam tanto quanto.
Termos relacionados
- Mistura de especialistas (MoE) Um modelo de mistura de especialistas contém muitas sub-redes especializadas e usa apenas algumas delas para cada token, podendo ser muito grande e ainda assim rápido.
- VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.
- Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.