Pesos ternários (1.58 bits)
Pesos ternários limitam cada peso do modelo a um de três valores, -1, 0 ou +1, então o modelo precisa de menos de 2 bits por peso em vez de 16.
Três valores carregam log2(3), cerca de 1.58 bits de informação, por isso modelos ternários costumam ser chamados de modelos de 1.58 bits. Arquivos reais precisam de um pouco mais, porque cada grupo de pesos também armazena um fator de escala. O Ternary Bonsai 2 da PrismML usa uma escala de 16 bits para cada 128 pesos, o que dá cerca de 1.7 bits por peso e reduz o modelo a cerca de um nono do seu tamanho de 16 bits.
Pesos ternários são uma forma extrema de quantização. A qualidade cai, mais em modelos pequenos do que em grandes, e os arquivos geralmente precisam de um runtime especial: os empacotamentos mais compactos do Ternary Bonsai 2 rodam no fork do llama.cpp da PrismML. Nossa calculadora de VRAM conta arquivos ternários a 0.22 bytes por parâmetro.
Termos relacionados
- Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.
- Precisão (BF16, FP8, INT4) Precisão é quantos bits são usados para armazenar cada número em um modelo, como BF16 de 16 bits, FP8 de 8 bits ou INT4 de 4 bits; menos bits significam um modelo menor e mais rápido.
- GGUF GGUF é um formato de modelo em arquivo único usado pelo llama.cpp e pelas ferramentas construídas sobre ele, que empacota os pesos quantizados junto com as informações necessárias para executá-los.