Entrenamiento consciente de la cuantización (QAT)
El entrenamiento consciente de la cuantización enseña al modelo a trabajar con pesos de baja precisión mientras aún se entrena, así que pierde menos calidad a 4 bits que un modelo comprimido después.
La cuantización ordinaria convierte un modelo de 16 bits terminado a menos bits, y la pérdida de calidad crece a medida que los bits se reducen. En QAT la baja precisión es parte del entrenamiento, así que los pesos se adaptan a ella. Nanbeige4.3-33B-INT4 se construyó así, con destilación del modelo BF16 y aprendizaje por refuerzo sobre el propio modelo INT4, y el resultado pesa unos 23 GB, aunque la ficha del modelo no da puntuaciones para él.
Algunos desarrolladores publican ahora pesos de baja precisión como la versión principal. Moonshot entrega Kimi K2.7 Code de forma nativa en INT4, con unos 595 GB, y MiniMax M3.1 Flash se publica ya comprimido a unos 4 bits. Suele ser más seguro empezar con los archivos de baja precisión del propio desarrollador y probarlos en tus tareas antes de fiarte de una conversión de terceros.
Términos relacionados
- Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
- Precisión (BF16, FP8, INT4) La precisión es cuántos bits se usan para guardar cada número en un modelo, como BF16 de 16 bits, FP8 de 8 bits o INT4 de 4 bits; menos bits significan un modelo más pequeño y rápido.
- Destilación La destilación entrena a un modelo estudiante más pequeño para imitar a un modelo profesor más grande, conservando gran parte de su capacidad con una fracción del tamaño.
- Aprendizaje por refuerzo (RL) El aprendizaje por refuerzo entrena a un modelo premiando los buenos resultados, como una respuesta correcta o superar pruebas, en lugar de copiar texto de ejemplo.