Quantização
A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.
Um peso de 16 bits ocupa 2 bytes, e um peso de 4 bits cerca de meio byte. Quantizar um modelo de 16 bits para 4 bits, portanto, o reduz a aproximadamente um quarto do tamanho, o que muitas vezes é a diferença entre precisar de um servidor e caber em uma GPU gamer.
Formatos comuns incluem FP8, INT8 e INT4, além de formatos de ponto flutuante de 4 bits mais novos como MXFP4 e NVFP4. O formato GGUF usado pelo llama.cpp suporta muitos níveis de quantização. Quanto menos bits, maior o risco de perder qualidade, especialmente em modelos pequenos, então teste no nível que pretende usar.
Termos relacionados
- Precisão (BF16, FP8, INT4) Precisão é quantos bits são usados para armazenar cada número em um modelo, como BF16 de 16 bits, FP8 de 8 bits ou INT4 de 4 bits; menos bits significam um modelo menor e mais rápido.
- GGUF GGUF é um formato de modelo em arquivo único usado pelo llama.cpp e pelas ferramentas construídas sobre ele, que empacota os pesos quantizados junto com as informações necessárias para executá-los.
- VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.