VRAM

La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.

  • Matériel et mémoire
  • Mis à jour le

Les poids d'un modèle doivent être chargés en mémoire avant qu'il puisse répondre. Sur une GPU, cette mémoire est la VRAM. Si le modèle n'y tient pas, le logiciel refuse de le charger ou déborde vers la mémoire du système, plus lente, et la génération devient beaucoup plus lente.

En règle pratique, la mémoire nécessaire en gigaoctets vaut à peu près le nombre de paramètres en milliards multiplié par les octets par paramètre, plus environ 15 % de surcoût, et davantage pour les longs contextes. En précision 4 bits, un modèle 30B demande environ 20 Go. La calculatrice de VRAM de ce site l'estime pour un modèle précis à plusieurs précisions.

Termes associés

  • Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.
  • Mémoire unifiée La mémoire unifiée est une conception, utilisée par les puces d'Apple et quelques autres, où le CPU et le GPU partagent une même réserve de mémoire, si bien qu'un grand modèle peut en utiliser la majeure partie.
  • Cache KV Le cache KV est la mémoire qu'utilise un modèle pour se souvenir des tokens précédents d'une conversation, et il grandit avec la longueur du contexte.

Tous les termes