Modelo denso
Um modelo denso usa todos os seus parâmetros para processar cada token, ao contrário de um modelo de mistura de especialistas, que ativa apenas parte deles.
Modelos densos são mais simples de raciocinar. Um modelo denso de 27B precisa de memória para 27 bilhões de parâmetros e faz o trabalho de 27 bilhões de parâmetros a cada token, então sua velocidade e uso de memória escalam juntos. Isso facilita dimensioná-lo para uma máquina específica.
Modelos densos de aproximadamente 20B a 35B de parâmetros, como o Qwen3.8-27B e a versão de 31B do Gemma 4, são populares para rodar em uma única GPU de jogos ou um notebook bem equipado com precisão de 4 bits.
Termos relacionados
- Mistura de especialistas (MoE) Um modelo de mistura de especialistas contém muitas sub-redes especializadas e usa apenas algumas delas para cada token, podendo ser muito grande e ainda assim rápido.
- Parâmetros Parâmetros são os números dentro de um modelo que são ajustados durante o treinamento; sua contagem, como 7B ou 70B, é a medida usual do tamanho de um modelo.