VRAM

A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.

  • Hardware e memória
  • Atualizado

Os pesos de um modelo precisam ser carregados na memória antes que ele possa responder. Em uma GPU, essa memória é a VRAM. Se o modelo não couber, o software ou se recusa a carregá-lo ou transborda para a memória do sistema, que é mais lenta, e a geração fica muito mais lenta.

Como regra de bolso, a memória necessária em gigabytes é aproximadamente a contagem de parâmetros em bilhões multiplicada pelos bytes por parâmetro, mais cerca de 15% de sobrecarga, e mais ainda para contextos longos. Com precisão de 4 bits, um modelo de 30B precisa de cerca de 20 GB. A calculadora de VRAM deste site faz a estimativa para um modelo específico em várias precisões.

Termos relacionados

  • Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.
  • Memória unificada Memória unificada é um design, usado pelos chips da Apple e alguns outros, em que a CPU e a GPU compartilham um único bloco de memória, de modo que um modelo grande pode usar a maior parte dele.
  • Cache KV O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.

Todos os termos