Зацикленный трансформер (looped transformer)
Зацикленный трансформер прогоняет часть собственных слоёв несколько раз для каждого токена, получая больше вычислений без хранения большего числа параметров.
Обычная модель пропускает каждый токен через каждый слой один раз. Зацикленная модель переиспользует блок слоёв с общими весами и прогоняет его два и более раз, добавляя глубину без добавления сохранённых параметров. NVIDIA Dory1.0-4B повторяет блок из 20 слоёв от одного до четырёх раз, а число прогонов вы выбираете при запуске сервера. SenseNova-Loop-9B-Preview от SenseTime хранит 32 слоя, но слои с 4-го по 27-й выполняются дважды.
Веса остаются маленькими, но каждый токен обходится дороже по времени, а в Dory каждый цикл по умолчанию хранит свой собственный KV-кэш, хотя режим только последнего цикла удерживает память на размере одного цикла. Поэтому число параметров занижает реальную работу, а поддержка на этапе выполнения скудна: SenseNova-Loop требует собственный код, а GGUF-путь Dory — закреплённую сборку llama.cpp. Проверьте, что ваши инструменты поддерживают зацикленную модель, прежде чем строить на ней планы.
Связанные термины
- Параметры Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.
- KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
- Рассуждающая модель (reasoning model) Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.
- Эффективное внимание (разреженное, линейное и гибридное) Конструкции эффективного внимания позволяют модели читать очень длинные входы с гораздо меньшими затратами памяти и вычислений, чем стандартное внимание, — за счёт просмотра меньшего числа токенов или сжатия прошлого.