Precisão (BF16, FP8, INT4)

Precisão é quantos bits são usados para armazenar cada número em um modelo, como BF16 de 16 bits, FP8 de 8 bits ou INT4 de 4 bits; menos bits significam um modelo menor e mais rápido.

  • Hardware e memória
  • Atualizado

Os modelos geralmente são treinados em formatos de 16 bits como o BF16. Um lançamento também pode ser oferecido em precisão menor: FP8 e INT8 usam um byte por peso, e INT4 e FP4 usam meio byte. Um modelo de 30B tem cerca de 60 GB em BF16, 30 GB em FP8 e 15 GB em 4 bits, antes dos custos adicionais.

Cada página de modelo neste site lista a precisão de cada variante publicada, e sua tabela de memória estima as necessidades em BF16, FP8 e 4 bits.

Termos relacionados

  • Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.
  • VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.

Todos os termos