Transformer em loop (looped transformer)

Um transformer em loop executa novamente algumas de suas próprias camadas várias vezes para cada token, ganhando mais computação sem armazenar mais parâmetros.

  • Modelos e arquitetura
  • Atualizado

Um modelo normal passa cada token por cada camada uma vez. Um modelo em loop reutiliza um bloco de camadas com pesos compartilhados e o executa duas ou mais vezes, o que adiciona profundidade sem adicionar parâmetros armazenados. O Dory1.0-4B da NVIDIA executa novamente um bloco de 20 camadas de uma a quatro vezes, e você escolhe a contagem ao iniciar o servidor. O SenseNova-Loop-9B-Preview da SenseTime armazena 32 camadas, mas as camadas 4 a 27 executam duas vezes.

Os pesos continuam pequenos, mas cada token custa mais tempo, e no Dory cada loop mantém seu próprio cache KV por padrão, embora um modo de último loop mantenha a memória no tamanho de um único loop. Portanto, uma contagem de parâmetros subestima o trabalho, e o suporte em tempo de execução é escasso: o SenseNova-Loop precisa de código personalizado, e a rota GGUF do Dory exige um build fixado do llama.cpp. Verifique se suas ferramentas suportam um modelo em loop antes de planejar com base nele.

Termos relacionados

  • Parâmetros Parâmetros são os números dentro de um modelo que são ajustados durante o treinamento; sua contagem, como 7B ou 70B, é a medida usual do tamanho de um modelo.
  • Cache KV O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.
  • Modelo de raciocínio Um modelo de raciocínio trabalha um problema passo a passo em uma fase de 'pensamento', visível ou oculta, antes de dar sua resposta final.
  • Atenção eficiente (esparsa, linear e híbrida) Os desenhos de atenção eficiente permitem que um modelo leia entradas muito longas com bem menos memória e computação do que a atenção padrão, olhando menos tokens ou comprimindo o passado.

Todos os termos