Transformer em loop (looped transformer)
Um transformer em loop executa novamente algumas de suas próprias camadas várias vezes para cada token, ganhando mais computação sem armazenar mais parâmetros.
Um modelo normal passa cada token por cada camada uma vez. Um modelo em loop reutiliza um bloco de camadas com pesos compartilhados e o executa duas ou mais vezes, o que adiciona profundidade sem adicionar parâmetros armazenados. O Dory1.0-4B da NVIDIA executa novamente um bloco de 20 camadas de uma a quatro vezes, e você escolhe a contagem ao iniciar o servidor. O SenseNova-Loop-9B-Preview da SenseTime armazena 32 camadas, mas as camadas 4 a 27 executam duas vezes.
Os pesos continuam pequenos, mas cada token custa mais tempo, e no Dory cada loop mantém seu próprio cache KV por padrão, embora um modo de último loop mantenha a memória no tamanho de um único loop. Portanto, uma contagem de parâmetros subestima o trabalho, e o suporte em tempo de execução é escasso: o SenseNova-Loop precisa de código personalizado, e a rota GGUF do Dory exige um build fixado do llama.cpp. Verifique se suas ferramentas suportam um modelo em loop antes de planejar com base nele.
Termos relacionados
- Parâmetros Parâmetros são os números dentro de um modelo que são ajustados durante o treinamento; sua contagem, como 7B ou 70B, é a medida usual do tamanho de um modelo.
- Cache KV O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.
- Modelo de raciocínio Um modelo de raciocínio trabalha um problema passo a passo em uma fase de 'pensamento', visível ou oculta, antes de dar sua resposta final.
- Atenção eficiente (esparsa, linear e híbrida) Os desenhos de atenção eficiente permitem que um modelo leia entradas muito longas com bem menos memória e computação do que a atenção padrão, olhando menos tokens ou comprimindo o passado.