LoRA (adaptação de baixo posto)
LoRA, sigla de low-rank adaptation, ajusta um modelo treinando um pequeno conjunto de pesos adicionais em vez de mudar todos os seus parâmetros.
Um adaptador LoRA costuma ter dezenas ou centenas de megabytes, enquanto o modelo base permanece inalterado. Como apenas o pequeno adaptador é treinado, o ajuste fino precisa de muito menos memória de GPU, e um único modelo base pode ser combinado com muitos adaptadores.
Geradores de imagens usam LoRAs com bastante frequência: um punhado de imagens pode ensinar um estilo ou um personagem, e o adaptador é carregado junto ao modelo base. Variantes que treinam sobre um modelo base quantizado, como o QLoRA, reduzem ainda mais a memória necessária.
Termos relacionados
- Ajuste fino (fine-tuning) O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.
- Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.