Mémoire unifiée
La mémoire unifiée est une conception, utilisée par les puces d'Apple et quelques autres, où le CPU et le GPU partagent une même réserve de mémoire, si bien qu'un grand modèle peut en utiliser la majeure partie.
Sur un PC classique, la carte graphique a sa propre VRAM, qui est limitée. Sur un Mac avec puce Apple, et sur des systèmes comme AMD Strix Halo et NVIDIA DGX Spark, le processeur et la partie graphique partagent une seule réserve de mémoire ; une machine de 128 Go peut donc accueillir un modèle qu'aucune carte de 24 Go ne pourrait contenir.
La contrepartie est la vitesse. La mémoire unifiée est généralement plus lente que la mémoire des GPU haut de gamme, donc les grands modèles tournent, mais avec moins de tokens par seconde. Le niveau « Desktop à grande mémoire » de ce site désigne cette classe de machines.
Termes associés
- VRAM La VRAM est la mémoire d'une carte graphique ; elle décide quels modèles une GPU peut héberger, car les poids doivent tenir en mémoire pour que le modèle tourne vite.
- Quantification La quantification stocke les poids d'un modèle avec moins de bits, par exemple 4 au lieu de 16, pour réduire la mémoire et accélérer l'inférence, au prix d'une petite perte de qualité.