Ajuste fino (fine-tuning)

O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.

  • Usando modelos
  • Atualizado

Em vez de treinar do zero, você parte de um modelo aberto e o ajusta com um conjunto de dados bem menor, por exemplo seus tickets de suporte ou um estilo de escrita específico. Métodos como o LoRA atualizam apenas um pequeno conjunto de pesos extras, o que torna possível o ajuste fino em uma única GPU.

Se você pode ajustar um modelo e compartilhar o resultado depende da licença dele. Licenças permissivas como a Apache 2.0 permitem, enquanto outras acrescentam condições como exigências de nomenclatura ou limites de receita. O ajuste fino também exige mais memória do que a inferência, porque o treinamento armazena dados extras para cada parâmetro.

Termos relacionados

  • LoRA (adaptação de baixo posto) LoRA, sigla de low-rank adaptation, ajusta um modelo treinando um pequeno conjunto de pesos adicionais em vez de mudar todos os seus parâmetros.
  • Destilação A destilação treina um modelo estudante menor para imitar um modelo professor maior, mantendo grande parte da capacidade dele com uma fração do tamanho.
  • Pesos abertos (open weights) Um modelo de pesos abertos é um modelo de IA cujos parâmetros treinados, chamados pesos, são publicados para que qualquer pessoa possa baixá-lo e executá-lo, geralmente sob uma licença que define as condições de uso.

Todos os termos