Эффективное внимание (разреженное, линейное и гибридное)
Конструкции эффективного внимания позволяют модели читать очень длинные входы с гораздо меньшими затратами памяти и вычислений, чем стандартное внимание, — за счёт просмотра меньшего числа токенов или сжатия прошлого.
Стандартное внимание сравнивает каждый токен со всеми предыдущими, поэтому объём работы растёт как квадрат длины входа, а KV-кэш — с каждым токеном. При контексте в 1 млн токенов это очень дорого. Разреженное внимание позволяет каждому токену смотреть лишь на выбранное подмножество предыдущих токенов. Линейное внимание и слои пространства состояний, такие как Mamba, вместо этого сжимают прошлое в состояние фиксированного размера. Гибридные конструкции сочетают несколько слоёв полного внимания со множеством более дешёвых.
Недавние открытые модели используют эти идеи. DeepSeek V4, GLM 5.3 и MiniMax M3 применяют разреженное внимание, Kimi K3.1 Pro сочетает линейную Kimi Delta Attention с разреженным вниманием, Qwen3.5 и Ling 3.1 Flash используют линейное внимание, а Nemotron 3 Ultra от NVIDIA чередует слои Mamba-2 с несколькими слоями внимания. Выигрыш — меньший KV-кэш и более дешёвое обслуживание длинного контекста. Плата — поддержка: такие модели часто требуют определённых сборок vLLM или SGLang, а качество на очень длинных входах стоит проверять на собственном материале.
Связанные термины
- KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
- Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
- Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.
- Смесь экспертов (MoE) Модель смеси экспертов содержит множество специализированных подсетей и использует лишь несколько из них для каждого токена, поэтому может быть очень большой и при этом быстрой.