Modelo denso
Un modelo denso usa todos sus parámetros para procesar cada token, a diferencia de un modelo de mezcla de expertos, que solo activa una parte de ellos.
Los modelos densos son más fáciles de razonar. Un modelo denso de 27B necesita memoria para 27.000 millones de parámetros y hace el trabajo de 27.000 millones de parámetros en cada token, así que su velocidad y su uso de memoria escalan juntos. Eso facilita dimensionarlo para una máquina concreta.
Los modelos densos de aproximadamente 20B a 35B de parámetros, como Qwen3.8-27B y la versión de 31B de Gemma 4, son populares para ejecutarse en una sola GPU de gaming o un portátil bien equipado con precisión de 4 bits.
Términos relacionados
- Mezcla de expertos (MoE) Un modelo de mezcla de expertos contiene muchas subredes especializadas y usa solo unas pocas por cada token, así que puede ser enorme y a la vez rápido.
- Parámetros Los parámetros son los números dentro de un modelo que se ajustan durante el entrenamiento; su cuenta, como 7B o 70B, es la medida habitual del tamaño de un modelo.