Смесь экспертов (MoE)
Модель смеси экспертов содержит множество специализированных подсетей и использует лишь несколько из них для каждого токена, поэтому может быть очень большой и при этом быстрой.
В плотной модели каждый параметр используется для каждого токена. MoE-модель делит часть сети на «экспертов», и небольшой маршрутизатор выбирает несколько из них для каждого токена. DeepSeek V4.1 Flash, например, имеет в сумме около 552 миллиардов параметров, но на каждый токен тратит лишь 16 миллиардов.
Подвох — в памяти. Все эксперты должны быть загружены, даже если работают лишь некоторые, поэтому MoE-модели нужен объём памяти под весь её размер, хотя по скорости она ближе к гораздо меньшей плотной модели. Именно поэтому на этом сайте у MoE-моделей указаны и общее, и активное число параметров.
Связанные термины
- Плотная модель Плотная модель использует все свои параметры для обработки каждого токена, в отличие от смеси экспертов, которая активирует лишь их часть.
- Параметры Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.