Atenção eficiente (esparsa, linear e híbrida)

Os desenhos de atenção eficiente permitem que um modelo leia entradas muito longas com bem menos memória e computação do que a atenção padrão, olhando menos tokens ou comprimindo o passado.

  • Modelos e arquitetura
  • Atualizado

A atenção padrão compara cada token com todos os tokens anteriores, então o trabalho cresce com o quadrado do tamanho da entrada e o cache KV cresce a cada token. Em um contexto de 1 milhão de tokens, isso é muito caro. A atenção esparsa faz cada token olhar apenas para um subconjunto escolhido dos tokens anteriores. A atenção linear e camadas de espaço de estados como o Mamba comprimem o passado em um estado de tamanho fixo. Os desenhos híbridos misturam algumas camadas de atenção completa com muitas camadas mais baratas.

Modelos abertos recentes usam essas ideias. DeepSeek V4, GLM 5.3 e MiniMax M3 usam atenção esparsa, o Kimi K3.1 Pro combina a Kimi Delta Attention linear com atenção esparsa, Qwen3.5 e Ling 3.1 Flash usam desenhos de atenção linear, e o Nemotron 3 Ultra da NVIDIA intercala camadas Mamba-2 com algumas poucas camadas de atenção. O ganho é um cache KV menor e atendimento de contexto longo mais barato. O custo é o suporte: esses modelos costumam exigir builds específicos do vLLM ou do SGLang, e a qualidade com entradas muito longas deve ser testada com o seu próprio material.

Termos relacionados

  • Cache KV O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.
  • Janela de contexto A janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo pode levar em conta de uma vez, incluindo o seu prompt e a resposta dele.
  • Inferência Inferência é o ato de executar um modelo treinado para obter uma saída, por exemplo responder a um prompt, em oposição a treiná-lo.
  • Mistura de especialistas (MoE) Um modelo de mistura de especialistas contém muitas sub-redes especializadas e usa apenas algumas delas para cada token, podendo ser muito grande e ainda assim rápido.

Todos os termos