统一内存
统一内存是 Apple 芯片和其他一些芯片采用的设计,CPU 和 GPU 共用同一块内存,因此大模型可以使用其中的大部分。
在普通 PC 上,显卡有自己的显存,容量有限。在搭载 Apple 芯片的 Mac 上,以及 AMD Strix Halo、NVIDIA DGX Spark 等系统上,处理器和显卡共用同一块内存,所以一台 128 GB 的机器可以容纳任何一张 24 GB 显卡都放不下的模型。
代价是速度。统一内存通常比高端 GPU 上的显存慢,所以大模型能运行,但每秒生成的 token 更少。本站的“大内存桌面机”档位指的就是这类机器。
相关术语
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。