推論(Inference)

推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。

  • 基礎知識
  • 更新日

学習は膨大なデータの上でパラメータを調整してモデルを教え込むもので、GPU クラスタが必要です。推論は完成済みの重みを読み出して答えを出すだけなので、はるかに安く、多くの場合 1 台のマシンで実行できます。

Ollama、LM Studio、llama.cpp、vLLM のようなツールでオープンモデルを実行するとき、あなたは推論をしています。速さはメモリ容量、メモリ帯域幅、そして使うエンジンによって決まります。

関連用語

  • ファインチューニング(Fine-tuning) ファインチューニングは、事前学習済みモデルの学習を自分のサンプルで続けることで、特定のタスク、スタイル、分野でより良い振る舞いをさせます。
  • 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。

すべての用語