Cuantización
La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
Un peso de 16 bits ocupa 2 bytes, y un peso de 4 bits aproximadamente medio byte. Cuantizar un modelo de 16 bits a 4 bits lo reduce, por tanto, a aproximadamente una cuarta parte de su tamaño, que a menudo es la diferencia entre necesitar un servidor y caber en una GPU de gaming.
Los formatos habituales incluyen FP8, INT8 e INT4, además de formatos de punto flotante de 4 bits más nuevos como MXFP4 y NVFP4. El formato GGUF que usa llama.cpp admite muchos niveles de cuantización. Cuantos menos bits, mayor el riesgo de perder calidad, sobre todo en modelos pequeños, así que prueba en el nivel que vayas a usar.
Términos relacionados
- Precisión (BF16, FP8, INT4) La precisión es cuántos bits se usan para guardar cada número en un modelo, como BF16 de 16 bits, FP8 de 8 bits o INT4 de 4 bits; menos bits significan un modelo más pequeño y rápido.
- GGUF GGUF es un formato de modelo en un solo archivo que usan llama.cpp y las herramientas construidas sobre él, y que empaqueta los pesos cuantizados junto con la información necesaria para ejecutarlos.
- VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.