Memória unificada

Memória unificada é um design, usado pelos chips da Apple e alguns outros, em que a CPU e a GPU compartilham um único bloco de memória, de modo que um modelo grande pode usar a maior parte dele.

  • Hardware e memória
  • Atualizado

Em um PC típico, a placa gráfica tem sua própria VRAM, que é limitada. Em um Mac com chips da Apple, e em sistemas como AMD Strix Halo e NVIDIA DGX Spark, o processador e os gráficos compartilham um único bloco de memória, então uma máquina de 128 GB pode acomodar um modelo que nenhuma placa gráfica de 24 GB conseguiria.

A contrapartida é a velocidade. A memória unificada costuma ser mais lenta que a memória das GPUs de alto desempenho, então modelos grandes rodam, mas com menos tokens por segundo. O nível «Desktop de memória grande» deste site se refere a essa classe de máquinas.

Termos relacionados

  • VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.
  • Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.

Todos os termos