Memoria unificada
La memoria unificada es un diseño, usado por los chips de Apple y algunas otras piezas de silicio, en el que la CPU y la GPU comparten un único bloque de memoria, así que un modelo grande puede usar la mayor parte.
En un PC típico, la tarjeta gráfica tiene su propia VRAM, que es limitada. En un Mac con chips de Apple, y en sistemas como AMD Strix Halo y NVIDIA DGX Spark, el procesador y los gráficos comparten un único bloque de memoria, así que una máquina de 128 GB puede albergar un modelo que ninguna tarjeta gráfica de 24 GB podría contener.
La contrapartida es la velocidad. La memoria unificada suele ser más lenta que la memoria de las GPUs de gama alta, así que los modelos grandes se ejecutan, pero con menos tokens por segundo. El nivel «Escritorio de gran memoria» de este sitio se refiere a esta clase de máquinas.
Términos relacionados
- VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.
- Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.