Precisión (BF16, FP8, INT4)
La precisión es cuántos bits se usan para guardar cada número en un modelo, como BF16 de 16 bits, FP8 de 8 bits o INT4 de 4 bits; menos bits significan un modelo más pequeño y rápido.
Los modelos suelen entrenarse en formatos de 16 bits como BF16. Una publicación también puede ofrecerse a menor precisión: FP8 e INT8 usan un byte por peso, e INT4 y FP4 usan medio byte. Un modelo de 30B ocupa aproximadamente 60 GB en BF16, 30 GB en FP8 y 15 GB en 4 bits, antes de los gastos añadidos.
Cada página de modelo en este sitio indica la precisión de cada variante publicada, y su tabla de memoria estima lo necesario en BF16, FP8 y 4 bits.
Términos relacionados
- Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
- VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.