Destilación

La destilación entrena a un modelo estudiante más pequeño para imitar a un modelo profesor más grande, conservando gran parte de su capacidad con una fracción del tamaño.

  • Modelos y arquitectura
  • Actualización

El estudiante aprende de las salidas del profesor en lugar de aprender solo a partir de datos en bruto. Así es como muchos modelos compactos alcanzan resultados potentes, y también se usa para acelerar modelos de imagen: el FLUX Klein destilado necesita muchos menos pasos de muestreo que su versión Base sin destilar.

Algunas licencias restringen el uso de las salidas de un modelo para entrenar otro modelo, así que revisa los términos antes de destilar de un modelo abierto al tuyo.

Términos relacionados

  • Ajuste fino (fine-tuning) El ajuste fino continúa el entrenamiento de un modelo preentrenado con tus propios ejemplos para que se comporte mejor en una tarea, un estilo o un dominio concretos.
  • Parámetros Los parámetros son los números dentro de un modelo que se ajustan durante el entrenamiento; su cuenta, como 7B o 70B, es la medida habitual del tamaño de un modelo.

Todos los términos