Modelo denso

Un modelo denso usa todos sus parámetros para procesar cada token, a diferencia de un modelo de mezcla de expertos, que solo activa una parte de ellos.

  • Modelos y arquitectura
  • Actualización

Los modelos densos son más fáciles de razonar. Un modelo denso de 27B necesita memoria para 27.000 millones de parámetros y hace el trabajo de 27.000 millones de parámetros en cada token, así que su velocidad y su uso de memoria escalan juntos. Eso facilita dimensionarlo para una máquina concreta.

Los modelos densos de aproximadamente 20B a 35B de parámetros, como Qwen3.8-27B y la versión de 31B de Gemma 4, son populares para ejecutarse en una sola GPU de gaming o un portátil bien equipado con precisión de 4 bits.

Términos relacionados

  • Mezcla de expertos (MoE) Un modelo de mezcla de expertos contiene muchas subredes especializadas y usa solo unas pocas por cada token, así que puede ser enorme y a la vez rápido.
  • Parámetros Los parámetros son los números dentro de un modelo que se ajustan durante el entrenamiento; su cuenta, como 7B o 70B, es la medida habitual del tamaño de un modelo.

Todos los términos