유니파이드 메모리(Unified memory)

유니파이드 메모리는 Apple 실리콘 등 일부 칩이 채택한 설계로, CPU와 GPU가 하나의 메모리 풀을 공유하므로 큰 모델도 그 대부분을 사용할 수 있습니다.

  • 하드웨어와 메모리
  • 업데이트

일반적인 PC에서는 그래픽 카드가 자체 VRAM을 가지며 용량이 제한적입니다. Apple 실리콘을 탑재한 Mac과 AMD Strix Halo, NVIDIA DGX Spark 같은 시스템에서는 프로세서와 그래픽이 하나의 메모리 풀을 공유하므로, 128 GB 머신은 24 GB 그래픽 카드로는 담을 수 없는 모델을 담을 수 있습니다.

대가는 속도입니다. 유니파이드 메모리는 보통 고성능 GPU의 메모리보다 느려서, 큰 모델도 돌아가지만 초당 토큰 수는 줄어듭니다. 이 사이트의 '대용량 메모리 데스크톱' 등급이 바로 이런 기계를 가리킵니다.

관련 용어

  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.
  • 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.

전체 용어