Decodificación especulativa y predicción multi-token

La decodificación especulativa acelera la generación de texto: un borrador barato adivina varios tokens por adelantado y el modelo completo los verifica todos a la vez.

  • Hardware y memoria
  • Actualización

Un modelo de lenguaje normalmente escribe un token cada vez, y cada token requiere un pase completo por el modelo. En la decodificación especulativa, un pequeño modelo borrador, o una capa de predicción extra dentro del modelo, propone varios tokens siguientes. El modelo principal los comprueba en un solo pase y se queda con los que acepta, así que en las implementaciones estándar la salida es la que habría escrito solo, solo que más rápido.

Muchos modelos recientes incluyen para esto una capa de predicción multi-token (MTP), por ejemplo Hy3 y las familias DeepSeek V4 y GLM-5, y servidores de inferencia como vLLM y SGLang pueden usarla. Ayuda más en texto predecible como el código y cuesta un poco de memoria extra. Comprueba si tu servidor admite la capa MTP de un modelo, porque el soporte y la configuración varían entre herramientas.

Términos relacionados

  • Inferencia La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.
  • Caché KV La caché KV es la memoria que usa un modelo para recordar los tokens anteriores de una conversación, y crece con la longitud del contexto.
  • Token Un token es un pequeño trozo de texto, a menudo una palabra o parte de una palabra, que un modelo de lenguaje lee y escribe; los modelos miden longitud y velocidad en tokens.

Todos los términos