GGUF

GGUF は llama.cpp およびそれを基盤とするツールが使う単一ファイルのモデル形式で、量子化された重みと実行に必要な情報を 1 つのファイルにまとめます。

  • ハードウェアとメモリ
  • 更新日

GGUF ファイルには、通常は量子化されたモデルの重みと、トークナイザーや設定がまとめて入っており、実行にはこの 1 ファイルで足ります。Q4_K_M のような名称は量子化レベルを示します。

llama.cpp と、LM Studio のようなそれを基盤とするツールは GGUF ファイルを読めます。Unsloth もこの形式へエクスポートできます。多くの GGUF はモデル開発者やコミュニティメンバーによって Hugging Face で公開されています。元モデルから作った GGUF にも元モデルのライセンスがそのまま適用されるため、商用利用の前に必ず確認してください。

関連用語

  • 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。

すべての用語