ユニファイドメモリ(Unified memory)

ユニファイドメモリは、Appleシリコンなど一部のチップが採用する設計で、CPUとGPUが1つのメモリプールを共有するため、大きなモデルがその大部分を使えます。

  • ハードウェアとメモリ
  • 更新日

普通のPCでは、グラフィックスカードは容量の限られた独自のVRAMを持ちます。Appleシリコンを搭載したMacや、AMD Strix Halo、NVIDIA DGX Sparkなどのシステムでは、プロセッサとグラフィックスが1つのメモリプールを共有するため、128 GBのマシンは24 GBのグラフィックスカードでは収まらないモデルを載せられます。

代償は速度です。ユニファイドメモリは通常、高性能GPUのメモリより遅いため、大きなモデルも動きますが、1秒あたりのトークン数は少なくなります。本サイトの「大容量メモリデスクトップ」ティアは、この種のマシンを指します。

関連用語

  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。
  • 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。

すべての用語