Pesos ternarios (1.58 bits)

Los pesos ternarios limitan cada peso del modelo a uno de tres valores, -1, 0 o +1, así que el modelo necesita menos de 2 bits por peso en lugar de 16.

  • Hardware y memoria
  • Actualización

Tres valores llevan log2(3), unos 1.58 bits de información, así que los modelos ternarios suelen llamarse modelos de 1.58 bits. Los archivos reales necesitan algo más, porque cada grupo de pesos también guarda un factor de escala. El Ternary Bonsai 2 de PrismML usa una escala de 16 bits por cada 128 pesos, lo que da unos 1.7 bits por peso y reduce el modelo a aproximadamente un noveno de su tamaño de 16 bits.

Los pesos ternarios son una forma extrema de cuantización. La calidad baja, más en los modelos pequeños que en los grandes, y los archivos normalmente necesitan un runtime especial: los empaquetados más compactos de Ternary Bonsai 2 funcionan en el fork de llama.cpp de PrismML. Nuestra calculadora de VRAM cuenta los archivos ternarios a 0.22 bytes por parámetro.

Términos relacionados

  • Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
  • Precisión (BF16, FP8, INT4) La precisión es cuántos bits se usan para guardar cada número en un modelo, como BF16 de 16 bits, FP8 de 8 bits o INT4 de 4 bits; menos bits significan un modelo más pequeño y rápido.
  • GGUF GGUF es un formato de modelo en un solo archivo que usan llama.cpp y las herramientas construidas sobre él, y que empaqueta los pesos cuantizados junto con la información necesaria para ejecutarlos.

Todos los términos