Mezcla de expertos (MoE)
Un modelo de mezcla de expertos contiene muchas subredes especializadas y usa solo unas pocas por cada token, así que puede ser enorme y a la vez rápido.
En un modelo denso, cada parámetro se usa para cada token. Un modelo MoE divide parte de la red en 'expertos', y un pequeño router elige unos cuantos para cada token. DeepSeek V4.1 Flash, por ejemplo, tiene unos 552.000 millones de parámetros en total pero usa 16.000 millones por cada token.
La pega es la memoria. Todos los expertos deben estar cargados aunque solo corran algunos, así que un modelo MoE necesita memoria para su tamaño total, mientras su velocidad se acerca a la de un modelo denso mucho más pequeño. Por eso este sitio lista los modelos MoE con un recuento total y otro de parámetros activos.
Términos relacionados
- Modelo denso Un modelo denso usa todos sus parámetros para procesar cada token, a diferencia de un modelo de mezcla de expertos, que solo activa una parte de ellos.
- Parámetros Los parámetros son los números dentro de un modelo que se ajustan durante el entrenamiento; su cuenta, como 7B o 70B, es la medida habitual del tamaño de un modelo.
- VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.