llama.cpp
ローカル AI の多くを支える C/C++ エンジン。ほぼあらゆるハードウェアで量子化モデルを動かせる CLI ツールと OpenAI 互換サーバー。
llama.cpp は、依存関係のない素の C/C++ で書かれたオープンソースの推論エンジンです。自らの言葉によれば、目標は言語モデルや視覚言語モデルを最小限のセットアップで、幅広いハードウェア上で高性能に、ローカルでもクラウドでも動かすことです。Apple シリコンは第一級のターゲットで、AVX・AMX 対応の x86 CPU、CUDA 経由の NVIDIA GPU、HIP 経由の AMD GPU、さらに Vulkan、SYCL、Metal、OpenCL などのバックエンドにも対応します。
最大の武器は量子化です。重みは 1 値あたり 1.5〜8 ビットで保存でき、メモリ使用量を減らし生成を高速化します。CPU+GPU ハイブリッド推論により、動画メモリより大きなモデルも部分的に加速できます。モデルは GGUF 形式で配布されます。llama cli コマンドは -hf で Hugging Face から直接モデルをダウンロードして実行でき、llama serve は内蔵の Web インターフェース付き OpenAI 互換 API サーバーを起動します。
より扱いやすい多くのツールがこれを基盤にしています。LM Studio は内部で llama.cpp と MLX を使うと明言しており、Unsloth もモデルの実行とエクスポートに使っています。最大の制御力や最低限のオーバーヘッドが欲しい場合、特殊なハードウェアでモデルを動かす必要がある場合は、llama.cpp を直接使いましょう。
おすすめの用途
- CPU、古い GPU、Apple シリコンなどの特殊なハードウェアでモデルを動かす
- 2〜6 ビット量子化で大モデルを限られたメモリに収める
- OpenAI 互換 API を備えた小さく依存なしのローカルサーバーを構築する
- ローカル推論が実際にどう動くかを学ぶ
注意点
- コマンドラインツールなので、Ollama や LM Studio より学習曲線が急
- 量子化を強めるとメモリは節約できるが品質が下がるため、使う予定の精度で自分のタスクを試すこと
- 真新しいモデルアーキテクチャの対応はリリースより遅れることがある