Зацикленный трансформер (looped transformer)

Зацикленный трансформер прогоняет часть собственных слоёв несколько раз для каждого токена, получая больше вычислений без хранения большего числа параметров.

  • Модели и архитектура
  • Обновлено

Обычная модель пропускает каждый токен через каждый слой один раз. Зацикленная модель переиспользует блок слоёв с общими весами и прогоняет его два и более раз, добавляя глубину без добавления сохранённых параметров. NVIDIA Dory1.0-4B повторяет блок из 20 слоёв от одного до четырёх раз, а число прогонов вы выбираете при запуске сервера. SenseNova-Loop-9B-Preview от SenseTime хранит 32 слоя, но слои с 4-го по 27-й выполняются дважды.

Веса остаются маленькими, но каждый токен обходится дороже по времени, а в Dory каждый цикл по умолчанию хранит свой собственный KV-кэш, хотя режим только последнего цикла удерживает память на размере одного цикла. Поэтому число параметров занижает реальную работу, а поддержка на этапе выполнения скудна: SenseNova-Loop требует собственный код, а GGUF-путь Dory — закреплённую сборку llama.cpp. Проверьте, что ваши инструменты поддерживают зацикленную модель, прежде чем строить на ней планы.

Связанные термины

  • Параметры Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.
  • KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
  • Рассуждающая модель (reasoning model) Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.
  • Эффективное внимание (разреженное, линейное и гибридное) Конструкции эффективного внимания позволяют модели читать очень длинные входы с гораздо меньшими затратами памяти и вычислений, чем стандартное внимание, — за счёт просмотра меньшего числа токенов или сжатия прошлого.

Все термины