GGUF
GGUF es un formato de modelo en un solo archivo que usan llama.cpp y las herramientas construidas sobre él, y que empaqueta los pesos cuantizados junto con la información necesaria para ejecutarlos.
Un archivo GGUF contiene los pesos del modelo, normalmente cuantizados, junto con su tokenizador y su configuración, así que un solo archivo basta para ejecutarlo. Nombres como Q4_K_M indican el nivel de cuantización.
llama.cpp y herramientas construidas sobre él, como LM Studio, leen archivos GGUF, y Unsloth puede exportar al formato. Muchos se publican en Hugging Face por el desarrollador del modelo o por miembros de la comunidad. La licencia del modelo original sigue aplicándose a un GGUF creado a partir de él, así que revísala antes de usar el archivo comercialmente.
Términos relacionados
- Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
- VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.