Atención eficiente (dispersa, lineal e híbrida)

Los diseños de atención eficiente permiten que un modelo lea entradas muy largas con mucha menos memoria y cómputo que la atención estándar, mirando menos tokens o comprimiendo el pasado.

  • Modelos y arquitectura
  • Actualización

La atención estándar compara cada token con todos los tokens anteriores, así que el trabajo crece con el cuadrado de la longitud de la entrada y la caché KV crece con cada token. Con un contexto de 1 millón de tokens eso resulta muy caro. La atención dispersa permite que cada token mire solo a un subconjunto elegido de los tokens anteriores. La atención lineal y las capas de espacio de estados como Mamba comprimen el pasado en un estado de tamaño fijo. Los diseños híbridos combinan unas pocas capas de atención completa con muchas más baratas.

Los modelos abiertos recientes usan estas ideas. DeepSeek V4, GLM 5.3 y MiniMax M3 emplean atención dispersa, Kimi K3.1 Pro combina la atención lineal Kimi Delta Attention con atención dispersa, Qwen3.5 y Ling 3.1 Flash usan diseños de atención lineal, y el Nemotron 3 Ultra de NVIDIA intercala capas Mamba-2 con unas pocas capas de atención. La recompensa es una caché KV más pequeña y un servicio de contexto largo más barato. El precio es el soporte: estos modelos suelen necesitar compilaciones concretas de vLLM o SGLang, y la calidad con entradas muy largas conviene probarla con tu propio material.

Términos relacionados

  • Caché KV La caché KV es la memoria que usa un modelo para recordar los tokens anteriores de una conversación, y crece con la longitud del contexto.
  • Ventana de contexto La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo puede tener en cuenta a la vez, incluidos tu prompt y su propia respuesta.
  • Inferencia La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.
  • Mezcla de expertos (MoE) Un modelo de mezcla de expertos contiene muchas subredes especializadas y usa solo unas pocas por cada token, así que puede ser enorme y a la vez rápido.

Todos los términos