Ajuste fino (fine-tuning)
O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.
Em vez de treinar do zero, você parte de um modelo aberto e o ajusta com um conjunto de dados bem menor, por exemplo seus tickets de suporte ou um estilo de escrita específico. Métodos como o LoRA atualizam apenas um pequeno conjunto de pesos extras, o que torna possível o ajuste fino em uma única GPU.
Se você pode ajustar um modelo e compartilhar o resultado depende da licença dele. Licenças permissivas como a Apache 2.0 permitem, enquanto outras acrescentam condições como exigências de nomenclatura ou limites de receita. O ajuste fino também exige mais memória do que a inferência, porque o treinamento armazena dados extras para cada parâmetro.
Termos relacionados
- LoRA (adaptação de baixo posto) LoRA, sigla de low-rank adaptation, ajusta um modelo treinando um pequeno conjunto de pesos adicionais em vez de mudar todos os seus parâmetros.
- Destilação A destilação treina um modelo estudante menor para imitar um modelo professor maior, mantendo grande parte da capacidade dele com uma fração do tamanho.
- Pesos abertos (open weights) Um modelo de pesos abertos é um modelo de IA cujos parâmetros treinados, chamados pesos, são publicados para que qualquer pessoa possa baixá-lo e executá-lo, geralmente sob uma licença que define as condições de uso.