GGUF

GGUF é um formato de modelo em arquivo único usado pelo llama.cpp e pelas ferramentas construídas sobre ele, que empacota os pesos quantizados junto com as informações necessárias para executá-los.

  • Hardware e memória
  • Atualizado

Um arquivo GGUF contém os pesos do modelo, normalmente quantizados, junto com o tokenizador e as configurações, de modo que um único arquivo basta para executá-lo. Nomes como Q4_K_M indicam o nível de quantização.

O llama.cpp e ferramentas construídas sobre ele, como o LM Studio, leem arquivos GGUF, e o Unsloth pode exportar para o formato. Muitos são publicados no Hugging Face pelo desenvolvedor do modelo ou por membros da comunidade. A licença do modelo original ainda se aplica a um GGUF criado a partir dele, então verifique-a antes de usar o arquivo comercialmente.

Termos relacionados

  • Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.
  • VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.

Todos os termos