Destilação
A destilação treina um modelo estudante menor para imitar um modelo professor maior, mantendo grande parte da capacidade dele com uma fração do tamanho.
O estudante aprende com as saídas do professor, e não apenas a partir de dados brutos. É assim que muitos modelos compactos alcançam resultados fortes, e o método também serve para acelerar modelos de imagem: o FLUX Klein destilado precisa de muito menos passos de amostragem do que sua versão Base não destilada.
Algumas licenças restringem o uso das saídas de um modelo para treinar outro modelo, então verifique os termos antes de destilar de um modelo aberto para o seu.
Termos relacionados
- Ajuste fino (fine-tuning) O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.
- Parâmetros Parâmetros são os números dentro de um modelo que são ajustados durante o treinamento; sua contagem, como 7B ou 70B, é a medida usual do tamanho de um modelo.