Смесь экспертов (MoE)

Модель смеси экспертов содержит множество специализированных подсетей и использует лишь несколько из них для каждого токена, поэтому может быть очень большой и при этом быстрой.

  • Модели и архитектура
  • Обновлено

В плотной модели каждый параметр используется для каждого токена. MoE-модель делит часть сети на «экспертов», и небольшой маршрутизатор выбирает несколько из них для каждого токена. DeepSeek V4.1 Flash, например, имеет в сумме около 552 миллиардов параметров, но на каждый токен тратит лишь 16 миллиардов.

Подвох — в памяти. Все эксперты должны быть загружены, даже если работают лишь некоторые, поэтому MoE-модели нужен объём памяти под весь её размер, хотя по скорости она ближе к гораздо меньшей плотной модели. Именно поэтому на этом сайте у MoE-моделей указаны и общее, и активное число параметров.

Связанные термины

  • Плотная модель Плотная модель использует все свои параметры для обработки каждого токена, в отличие от смеси экспертов, которая активирует лишь их часть.
  • Параметры Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.
  • VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.

Все термины