セルフホスティング(Self-hosting)

セルフホスティングとは、ベンダーのAPIを呼び出す代わりに、自分のPCやレンタルGPUサーバーなど、自分で管理するハードウェア上でモデルを実行することです。

  • モデルの使い方
  • 更新日

オープンウェイトによりセルフホスティングが可能になります。モデルをダウンロードして自分でサービスを提供するもので、1台のマシンならOllamaやllama.cpp、サーバーならvLLMやSGLangなどのツールを使います。データの行き先を自分で決められ、モデルをファインチューニングすることもでき、トークンごとの課金ではなくハードウェアに費用を支払います。

必ずしも安くも簡単になるとも限りません。GPUは稼働していなくても料金がかかり、更新やスケーリングは自分で対応する必要があり、最大級のモデルには多くのGPUが必要です。多くのオープンモデルはホスト型API経由でも利用でき、ホスト型アクセスの販売を制限するライセンスもあるため、モデルをサービスとして提供する予定があればライセンスを必ず確認してください。

関連用語

  • 推論(Inference) 推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。
  • OpenAI 互換 API OpenAI 互換 API とは、OpenAI API と同じリクエストを受け付けるサーバーのことで、OpenAI 向けに書かれたアプリが代わりにオープンモデルを使えます。
  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。
  • オープンウェイト(Open weights) オープンウェイトモデルとは、学習済みのパラメータ(重み)が公開されている AI モデルで、誰でもダウンロードして実行できます。通常は利用条件を定めたライセンスが付きます。

すべての用語