推論(Inference)
推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。
学習は膨大なデータの上でパラメータを調整してモデルを教え込むもので、GPU クラスタが必要です。推論は完成済みの重みを読み出して答えを出すだけなので、はるかに安く、多くの場合 1 台のマシンで実行できます。
Ollama、LM Studio、llama.cpp、vLLM のようなツールでオープンモデルを実行するとき、あなたは推論をしています。速さはメモリ容量、メモリ帯域幅、そして使うエンジンによって決まります。
関連用語
- ファインチューニング(Fine-tuning) ファインチューニングは、事前学習済みモデルの学習を自分のサンプルで続けることで、特定のタスク、スタイル、分野でより良い振る舞いをさせます。
- 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
- VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。