Transformer en bucle (looped transformer)
Un transformer en bucle vuelve a ejecutar algunas de sus propias capas varias veces por cada token, así que obtiene más cálculo sin almacenar más parámetros.
Un modelo normal pasa cada token por cada capa una vez. Un modelo en bucle reutiliza un bloque de capas con pesos compartidos y lo ejecuta dos o más veces, lo que añade profundidad sin añadir parámetros almacenados. El Dory1.0-4B de NVIDIA vuelve a ejecutar un bloque de 20 capas entre una y cuatro veces, y eliges el número al arrancar el servidor. El SenseNova-Loop-9B-Preview de SenseTime almacena 32 capas, pero las capas 4 a 27 se ejecutan dos veces.
Los pesos se mantienen pequeños, pero cada token cuesta más tiempo, y en Dory cada bucle mantiene su propia caché KV por defecto, aunque un modo de último bucle mantiene la memoria en el tamaño de un solo bucle. Por tanto, un recuento de parámetros minusvalora el trabajo, y el soporte en tiempo de ejecución es escaso: SenseNova-Loop necesita código a medida, y la ruta GGUF de Dory requiere una versión concreta de llama.cpp. Comprueba que tus herramientas admitan un modelo en bucle antes de planificar en torno a él.
Términos relacionados
- Parámetros Los parámetros son los números dentro de un modelo que se ajustan durante el entrenamiento; su cuenta, como 7B o 70B, es la medida habitual del tamaño de un modelo.
- Caché KV La caché KV es la memoria que usa un modelo para recordar los tokens anteriores de una conversación, y crece con la longitud del contexto.
- Modelo de razonamiento Un modelo de razonamiento trabaja un problema paso a paso en una fase de «pensamiento», visible u oculta, antes de dar su respuesta final.
- Atención eficiente (dispersa, lineal e híbrida) Los diseños de atención eficiente permiten que un modelo lea entradas muy largas con mucha menos memoria y cómputo que la atención estándar, mirando menos tokens o comprimiendo el pasado.