LoRA (adaptação de baixo posto)

LoRA, sigla de low-rank adaptation, ajusta um modelo treinando um pequeno conjunto de pesos adicionais em vez de mudar todos os seus parâmetros.

  • Usando modelos
  • Atualizado

Um adaptador LoRA costuma ter dezenas ou centenas de megabytes, enquanto o modelo base permanece inalterado. Como apenas o pequeno adaptador é treinado, o ajuste fino precisa de muito menos memória de GPU, e um único modelo base pode ser combinado com muitos adaptadores.

Geradores de imagens usam LoRAs com bastante frequência: um punhado de imagens pode ensinar um estilo ou um personagem, e o adaptador é carregado junto ao modelo base. Variantes que treinam sobre um modelo base quantizado, como o QLoRA, reduzem ainda mais a memória necessária.

Termos relacionados

  • Ajuste fino (fine-tuning) O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.
  • Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.

Todos os termos