GGUF
GGUF は llama.cpp およびそれを基盤とするツールが使う単一ファイルのモデル形式で、量子化された重みと実行に必要な情報を 1 つのファイルにまとめます。
GGUF ファイルには、通常は量子化されたモデルの重みと、トークナイザーや設定がまとめて入っており、実行にはこの 1 ファイルで足ります。Q4_K_M のような名称は量子化レベルを示します。
llama.cpp と、LM Studio のようなそれを基盤とするツールは GGUF ファイルを読めます。Unsloth もこの形式へエクスポートできます。多くの GGUF はモデル開発者やコミュニティメンバーによって Hugging Face で公開されています。元モデルから作った GGUF にも元モデルのライセンスがそのまま適用されるため、商用利用の前に必ず確認してください。