Parámetros

Los parámetros son los números dentro de un modelo que se ajustan durante el entrenamiento; su cuenta, como 7B o 70B, es la medida habitual del tamaño de un modelo.

  • Lo básico
  • Actualización

Un parámetro es un único número aprendido, normalmente un peso. Un modelo con 7.000 millones de parámetros, escrito 7B, almacena siete mil millones de ellos. Más parámetros suelen dar a un modelo más capacidad para aprender, pero también significan una descarga mayor y más memoria para ejecutarlo.

La cuenta puede engañar en los modelos de mezcla de expertos, que listan un total y una cifra activa menor usada por cada token. Un modelo de «120B totales, 5B activos» necesita memoria para el total pero calcula solo con la parte activa. El número de parámetros por sí solo tampoco te dice la calidad: los datos de entrenamiento, el método de entrenamiento y la arquitectura importan igual.

Términos relacionados

  • Mezcla de expertos (MoE) Un modelo de mezcla de expertos contiene muchas subredes especializadas y usa solo unas pocas por cada token, así que puede ser enorme y a la vez rápido.
  • VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.
  • Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.

Todos los términos