Decodificação especulativa e previsão de múltiplos tokens

A decodificação especulativa acelera a geração de texto ao permitir que um rascunho barato adivinhe vários tokens à frente e que o modelo completo os verifique todos de uma vez.

  • Hardware e memória
  • Atualizado

Um modelo de linguagem normalmente escreve um token por vez, e cada token exige uma passagem completa pelo modelo. Na decodificação especulativa, um pequeno modelo rascunho, ou uma camada de previsão extra dentro do modelo, propõe vários próximos tokens. O modelo principal os verifica em uma única passagem e mantém os que aprova, de modo que, nas implementações padrão, a saída é o que ele teria escrito sozinho, apenas mais rápido.

Muitos modelos recentes vêm com uma camada de previsão de múltiplos tokens (MTP) para isso, por exemplo Hy3 e as famílias DeepSeek V4 e GLM-5, e servidores de inferência como vLLM e SGLang podem usá-la. Ela ajuda mais em texto previsível, como código, e custa um pouco de memória extra. Verifique se seu servidor suporta a camada MTP de um modelo, porque o suporte e as configurações variam entre ferramentas.

Termos relacionados

  • Inferência Inferência é o ato de executar um modelo treinado para obter uma saída, por exemplo responder a um prompt, em oposição a treiná-lo.
  • Cache KV O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.
  • Token Um token é um pequeno pedaço de texto, muitas vezes uma palavra ou parte de uma palavra, que um modelo de linguagem lê e escreve; os modelos medem comprimento e velocidade em tokens.

Todos os termos