Modelo denso

Um modelo denso usa todos os seus parâmetros para processar cada token, ao contrário de um modelo de mistura de especialistas, que ativa apenas parte deles.

  • Modelos e arquitetura
  • Atualizado

Modelos densos são mais simples de raciocinar. Um modelo denso de 27B precisa de memória para 27 bilhões de parâmetros e faz o trabalho de 27 bilhões de parâmetros a cada token, então sua velocidade e uso de memória escalam juntos. Isso facilita dimensioná-lo para uma máquina específica.

Modelos densos de aproximadamente 20B a 35B de parâmetros, como o Qwen3.8-27B e a versão de 31B do Gemma 4, são populares para rodar em uma única GPU de jogos ou um notebook bem equipado com precisão de 4 bits.

Termos relacionados

  • Mistura de especialistas (MoE) Um modelo de mistura de especialistas contém muitas sub-redes especializadas e usa apenas algumas delas para cada token, podendo ser muito grande e ainda assim rápido.
  • Parâmetros Parâmetros são os números dentro de um modelo que são ajustados durante o treinamento; sua contagem, como 7B ou 70B, é a medida usual do tamanho de um modelo.

Todos os termos