推測デコーディングとマルチトークン予測(Speculative decoding)
推測デコーディングは、小規模なドラフトモデルが先の複数トークンを推測し、それをフルモデルが一度に検証することで、テキスト生成を高速化します。
言語モデルは通常、一度に1トークンずつ書き、各トークンごとにモデルを完全に一周する必要があります。推測デコーディングでは、小さなドラフトモデル、またはモデル内部の追加の予測層が、次の複数のトークンを提案します。メインモデルはそれらを1回のパスで検証し、自分が同意するものだけを保持します。そのため標準的な実装では、出力はモデルが単独で書いた場合と同じで、ただ速くなります。
近年の多くのモデルはこのためにマルチトークン予測(MTP)層を備えており、たとえばHy3やDeepSeek V4、GLM-5ファミリーがあり、vLLMやSGLangなどの推論サーバーがこれを利用できます。コードのような予測しやすいテキストで最も効果があり、メモリはわずかに余分に必要です。対応状況や設定はツールによって異なるため、サーバーがそのモデルのMTP層に対応しているか確認してください。
関連用語
- 推論(Inference) 推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。
- KVキャッシュ KV キャッシュは、会話のそれまでのトークンをモデルが覚えておくためのメモリで、コンテキスト長に伴って増えていきます。
- トークン(Token) トークンは、言語モデルが読み書きする小さなテキストのかたまり(多くは単語か単語の一部)で、モデルは長さや速度をトークン単位で測ります。