Единая память

Единая память — это подход, используемый чипами Apple и некоторыми другими: CPU и GPU делят один пул памяти, поэтому большая модель может занять большую его часть.

  • Оборудование и память
  • Обновлено

На обычном ПК у видеокарты своя VRAM, и она ограничена. На Mac с чипами Apple и в системах вроде AMD Strix Halo и NVIDIA DGX Spark процессор и графика делят единый пул памяти, поэтому машина со 128 ГБ может вместить модель, которая не поместится ни в одну видеокарту на 24 ГБ.

Расплата — скорость. Единая память обычно медленнее памяти на топовых GPU, поэтому большие модели работают, но с меньшим числом токенов в секунду. Уровень «Настольный ПК с большой памятью» на этом сайте — как раз про такие машины.

Связанные термины

  • VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.
  • Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.

Все термины