GGUF

GGUF es un formato de modelo en un solo archivo que usan llama.cpp y las herramientas construidas sobre él, y que empaqueta los pesos cuantizados junto con la información necesaria para ejecutarlos.

  • Hardware y memoria
  • Actualización

Un archivo GGUF contiene los pesos del modelo, normalmente cuantizados, junto con su tokenizador y su configuración, así que un solo archivo basta para ejecutarlo. Nombres como Q4_K_M indican el nivel de cuantización.

llama.cpp y herramientas construidas sobre él, como LM Studio, leen archivos GGUF, y Unsloth puede exportar al formato. Muchos se publican en Hugging Face por el desarrollador del modelo o por miembros de la comunidad. La licencia del modelo original sigue aplicándose a un GGUF creado a partir de él, así que revísala antes de usar el archivo comercialmente.

Términos relacionados

  • Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
  • VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.

Todos los términos