llama.cpp

ローカル AI の多くを支える C/C++ エンジン。ほぼあらゆるハードウェアで量子化モデルを動かせる CLI ツールと OpenAI 互換サーバー。

  • ローカル実行
  • MIT · オープンソース
  • macOS, Windows, Linux
  • 検証日

llama.cpp は、依存関係のない素の C/C++ で書かれたオープンソースの推論エンジンです。自らの言葉によれば、目標は言語モデルや視覚言語モデルを最小限のセットアップで、幅広いハードウェア上で高性能に、ローカルでもクラウドでも動かすことです。Apple シリコンは第一級のターゲットで、AVX・AMX 対応の x86 CPU、CUDA 経由の NVIDIA GPU、HIP 経由の AMD GPU、さらに Vulkan、SYCL、Metal、OpenCL などのバックエンドにも対応します。

最大の武器は量子化です。重みは 1 値あたり 1.5〜8 ビットで保存でき、メモリ使用量を減らし生成を高速化します。CPU+GPU ハイブリッド推論により、動画メモリより大きなモデルも部分的に加速できます。モデルは GGUF 形式で配布されます。llama cli コマンドは -hf で Hugging Face から直接モデルをダウンロードして実行でき、llama serve は内蔵の Web インターフェース付き OpenAI 互換 API サーバーを起動します。

より扱いやすい多くのツールがこれを基盤にしています。LM Studio は内部で llama.cpp と MLX を使うと明言しており、Unsloth もモデルの実行とエクスポートに使っています。最大の制御力や最低限のオーバーヘッドが欲しい場合、特殊なハードウェアでモデルを動かす必要がある場合は、llama.cpp を直接使いましょう。

おすすめの用途

  • CPU、古い GPU、Apple シリコンなどの特殊なハードウェアでモデルを動かす
  • 2〜6 ビット量子化で大モデルを限られたメモリに収める
  • OpenAI 互換 API を備えた小さく依存なしのローカルサーバーを構築する
  • ローカル推論が実際にどう動くかを学ぶ

注意点

  • コマンドラインツールなので、Ollama や LM Studio より学習曲線が急
  • 量子化を強めるとメモリは節約できるが品質が下がるため、使う予定の精度で自分のタスクを試すこと
  • 真新しいモデルアーキテクチャの対応はリリースより遅れることがある

リンク