LoRA (adaptación de bajo rango)

LoRA, siglas de low-rank adaptation, ajusta un modelo entrenando un pequeño conjunto de pesos añadidos en lugar de cambiar todos sus parámetros.

  • Uso de modelos
  • Actualización

Un adaptador LoRA suele ocupar decenas o cientos de megabytes, mientras el modelo base permanece intacto. Como solo se entrena el pequeño adaptador, el ajuste fino necesita mucha menos memoria de GPU, y un mismo modelo base puede combinarse con muchos adaptadores.

Los generadores de imágenes usan muchos LoRA: unas pocas imágenes pueden enseñar un estilo o un personaje, y el adaptador se carga junto al modelo base. Variantes que entrenan sobre un modelo base cuantizado, como QLoRA, reducen aún más la memoria necesaria.

Términos relacionados

  • Ajuste fino (fine-tuning) El ajuste fino continúa el entrenamiento de un modelo preentrenado con tus propios ejemplos para que se comporte mejor en una tarea, un estilo o un dominio concretos.
  • Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.

Todos los términos