Axolotl

YAML 1 枚で駆動する無料のファインチューニングフレームワーク。LoRA、QLoRA、選好チューニング、MoE 向け NVFP4・エキスパート並列に対応。

  • ファインチューニング
  • Apache 2.0 · オープンソース
  • Linux
  • 検証日

Axolotl は大規模言語モデルのポストトレーニングとファインチューニングのための無料オープンソースツールです。1 枚の YAML 設定ファイルで、データセットの前処理、学習、評価、量子化、推論までをカバーします。README に挙げられている学習手法は、フルファインチューニング、LoRA、QLoRA、量子化対応学習(int8、int4、FP8、NVFP4、MXFP4)、選好チューニング(DPO、IPO、KTO、ORPO)、強化学習(GRPO、GDPO)、そして視覚言語モデルや音声モデルのマルチモーダル学習です。

README の更新ログは、新しいオープンモデルの公開後まもなく追跡を行っており、Gemma 4、Qwen3.6、Mistral Large 4、Reflection の Beam、MiniCPM5、Muse Glimmer などが含まれ、混合エキスパート(MoE)モデル向けにエキスパート並列と NVFP4 LoRA 学習を提供しています。FSDP2、DeepSpeed、コンテキスト並列による分散学習をサポートし、axolotl export でモデルを GGUF に書き出して llama.cpp や Ollama で使えます。

README は要件として、NVIDIA GPU(bf16 と Flash Attention には Ampere 以降)または AMD GPU、Python 3.12 以降、最近の PyTorch を挙げており、Docker イメージと PyPI パッケージも提供しています。ライセンスは Apache 2.0 で、ファインチューニングしたモデルには引き続き元のベースモデルのライセンスが適用されます。

おすすめの用途

  • 設定ファイルから再現性のあるファインチューニング実行
  • 1 GPU での LoRA と QLoRA、またはマルチ GPU・マルチノード学習
  • エキスパート並列と NVFP4 LoRA 学習による新しい MoE モデルのファインチューニング
  • ファインチューニング済みモデルの GGUF への書き出し

注意点

  • NVIDIA GPU(bf16 と Flash Attention には Ampere 以降)または AMD GPU が必要
  • README は Python 3.12 以降と最近の PyTorch を求めるため、新しい環境か Docker イメージを使う
  • ファインチューニング済みモデルはベースモデルのライセンス(収益制限を含む)を引き継ぐ

リンク