OpenAI 互換 API
OpenAI 互換 API とは、OpenAI API と同じリクエストを受け付けるサーバーのことで、OpenAI 向けに書かれたアプリが代わりにオープンモデルを使えます。
llama.cpp と vLLM はどちらもこの種のサーバーを提供しており、Open WebUI などのフロントエンドはこの種のサーバーであればどれにも接続できます。アプリケーションをローカルモデルに切り替えるときは、通常、ベース URL とモデル名だけを変え、リクエストを組み立てるコードはそのままにします。
互換性は部分的です。チャット補完のような基本機能はほぼどこでも動きますが、ツール呼び出し、構造化出力、画像入力などの機能はサーバーとモデルによって異なるため、自分が頼る機能は試してみてください。
関連用語
- 推論(Inference) 推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。