Axolotl

Framework gratuito de fine-tuning com um arquivo YAML: LoRA, QLoRA, ajuste por preferências e NVFP4 e expert-parallel para modelos MoE.

  • Ajuste fino
  • Apache 2.0 · Código aberto
  • Linux
  • Verificado

O Axolotl é uma ferramenta gratuita e de código aberto para pós-treinamento e fine-tuning de grandes modelos de linguagem. Um único arquivo de configuração YAML cobre pré-processamento do dataset, treinamento, avaliação, quantização e inferência. Os métodos de treinamento listados no README incluem full fine-tuning, LoRA, QLoRA, treinamento com consciência de quantização (int8, int4, FP8, NVFP4 e MXFP4), ajuste por preferências (DPO, IPO, KTO e ORPO), aprendizado por reforço (GRPO e GDPO) e treinamento multimodal para modelos de visão-linguagem e de áudio.

O registro de atualizações do README acompanha os novos modelos abertos logo após o lançamento, incluindo Gemma 4, Qwen3.6, Mistral Large 4, Beam da Reflection, MiniCPM5 e Muse Glimmer, com treinamento especialista-paralelo e NVFP4 LoRA para modelos de mistura de especialistas. Ele suporta treinamento distribuído com FSDP2, DeepSpeed e paralelismo de contexto, e pode exportar um modelo para GGUF com axolotl export para uso com llama.cpp e Ollama.

O README lista como requisitos uma GPU NVIDIA (Ampere ou mais nova para bf16 e Flash Attention) ou uma GPU AMD, Python 3.12 ou mais recente e um PyTorch recente, além de oferecer imagens Docker e pacotes no PyPI. A licença é Apache 2.0, e um modelo ajustado ainda carrega a licença do modelo base de onde partiu.

Bom para

  • Execuções de fine-tuning repetíveis a partir de um arquivo de configuração
  • LoRA e QLoRA em uma GPU, ou treinamento multi-GPU e multinó
  • Ajustar novos modelos de mistura de especialistas com treinamento especialista-paralelo e NVFP4 LoRA
  • Exportar um modelo ajustado para GGUF

Pontos de atenção

  • Precisa de uma GPU NVIDIA (Ampere ou mais nova para bf16 e Flash Attention) ou de uma GPU AMD
  • O README pede Python 3.12 ou mais recente e um PyTorch recente, então use um ambiente novo ou a imagem Docker
  • Um modelo ajustado herda a licença do seu modelo base, incluindo eventuais limites de receita

Links