Destilação

A destilação treina um modelo estudante menor para imitar um modelo professor maior, mantendo grande parte da capacidade dele com uma fração do tamanho.

  • Modelos e arquitetura
  • Atualizado

O estudante aprende com as saídas do professor, e não apenas a partir de dados brutos. É assim que muitos modelos compactos alcançam resultados fortes, e o método também serve para acelerar modelos de imagem: o FLUX Klein destilado precisa de muito menos passos de amostragem do que sua versão Base não destilada.

Algumas licenças restringem o uso das saídas de um modelo para treinar outro modelo, então verifique os termos antes de destilar de um modelo aberto para o seu.

Termos relacionados

  • Ajuste fino (fine-tuning) O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.
  • Parâmetros Parâmetros são os números dentro de um modelo que são ajustados durante o treinamento; sua contagem, como 7B ou 70B, é a medida usual do tamanho de um modelo.

Todos os termos