Mistura de especialistas (MoE)
Um modelo de mistura de especialistas contém muitas sub-redes especializadas e usa apenas algumas delas para cada token, podendo ser muito grande e ainda assim rápido.
Em um modelo denso, cada parâmetro é usado para cada token. Um modelo MoE divide parte da rede em 'especialistas', e um pequeno roteador escolhe alguns deles para cada token. O DeepSeek V4.1 Flash, por exemplo, tem cerca de 552 bilhões de parâmetros no total, mas usa 16 bilhões por token.
O problema é a memória. Todos os especialistas precisam estar carregados mesmo que só alguns executem, então um modelo MoE precisa de memória para seu tamanho total, enquanto sua velocidade fica mais próxima da de um modelo denso muito menor. Por isso este site lista os modelos MoE com uma contagem total e uma de parâmetros ativos.
Termos relacionados
- Modelo denso Um modelo denso usa todos os seus parâmetros para processar cada token, ao contrário de um modelo de mistura de especialistas, que ativa apenas parte deles.
- Parâmetros Parâmetros são os números dentro de um modelo que são ajustados durante o treinamento; sua contagem, como 7B ou 70B, é a medida usual do tamanho de um modelo.
- VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.