VRAM
La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.
Los pesos de un modelo deben cargarse en memoria antes de que pueda responder. En una GPU esa memoria es la VRAM. Si el modelo no cabe, el software o se niega a cargarlo o se desborda a la memoria del sistema, que es más lenta, y la generación se vuelve mucho más lenta.
Como regla general, la memoria necesaria en gigabytes es aproximadamente el número de parámetros en miles de millones multiplicado por los bytes por parámetro, más un 15% de sobrecarga, y más para contextos largos. Con precisión de 4 bits, un modelo de 30B necesita alrededor de 20 GB. La calculadora de VRAM de este sitio lo estima para un modelo concreto a varias precisiones.
Términos relacionados
- Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
- Memoria unificada La memoria unificada es un diseño, usado por los chips de Apple y algunas otras piezas de silicio, en el que la CPU y la GPU comparten un único bloque de memoria, así que un modelo grande puede usar la mayor parte.
- Caché KV La caché KV es la memoria que usa un modelo para recordar los tokens anteriores de una conversación, y crece con la longitud del contexto.