Axolotl
Kostenloses Fine-Tuning-Framework mit einer YAML-Datei: LoRA, QLoRA, Preference Tuning, NVFP4 und Expert-Parallel für MoE-Modelle.
Axolotl ist ein kostenloses Open-Source-Werkzeug für Post-Training und Fine-Tuning großer Sprachmodelle. Eine einzige YAML-Konfigurationsdatei deckt die Datensatzvorverarbeitung, das Training, die Evaluierung, die Quantisierung und die Inferenz ab. Zu den im README genannten Trainingsmethoden gehören Full Fine-Tuning, LoRA, QLoRA, quantisierungsbewusstes Training (int8, int4, FP8, NVFP4 und MXFP4), Preference Tuning (DPO, IPO, KTO und ORPO), Reinforcement Learning (GRPO und GDPO) sowie multimodales Training für Vision-Language- und Audiomodelle.
Das Update-Log im README verfolgt neue offene Modelle bald nach deren Veröffentlichung, darunter Gemma 4, Qwen3.6, Mistral Large 4, Reflections Beam, MiniCPM5 und Muse Glimmer, mit Expert-Parallel- und NVFP4-LoRA-Training für Mixture-of-Experts-Modelle. Es unterstützt verteiltes Training mit FSDP2, DeepSpeed und Context Parallelism und kann ein Modell per axolotl export nach GGUF exportieren, zur Verwendung mit llama.cpp und Ollama.
Als Voraussetzungen nennt das README eine NVIDIA-GPU (Ampere oder neuer für bf16 und Flash Attention) oder eine AMD-GPU, Python 3.12 oder neuer und ein aktuelles PyTorch, und es bietet Docker-Images und PyPI-Pakete. Die Lizenz ist Apache 2.0, und ein feinabgestimmtes Modell trägt weiterhin die Lizenz des Basemodells, von dem es ausging.
Geeignet für
- Wiederholbare Fine-Tuning-Läufe aus einer Konfigurationsdatei
- LoRA und QLoRA auf einer GPU oder Multi-GPU- und Multi-Node-Training
- Neue Mixture-of-Experts-Modelle mit Expert-Parallel- und NVFP4-LoRA-Training feinabstimmen
- Ein feinabgestimmtes Modell nach GGUF exportieren
Darauf achten
- Es braucht eine NVIDIA-GPU (Ampere oder neuer für bf16 und Flash Attention) oder eine AMD-GPU
- Das README verlangt Python 3.12 oder neuer und ein aktuelles PyTorch; nutzen Sie eine frische Umgebung oder das Docker-Image
- Ein feinabgestimmtes Modell erbt die Lizenz seines Basemodells, einschließlich etwaiger Umsatzgrenzen