GGUF

GGUF — это однофайловый формат моделей, используемый llama.cpp и построенными на нём инструментами: он упаковывает квантованные веса вместе с информацией, необходимой для их запуска.

  • Оборудование и память
  • Обновлено

Файл GGUF содержит веса модели (обычно квантованные) вместе с её токенизатором и настройками, поэтому для запуска достаточно одного файла. Названия вроде Q4_K_M указывают уровень квантования.

llama.cpp и построенные на нём инструменты, например LM Studio, читают файлы GGUF, а Unsloth умеет экспортировать в этот формат. Многие файлы публикуются на Hugging Face разработчиком модели или участниками сообщества. На GGUF, созданный из модели, по-прежнему распространяется её лицензия, поэтому перед коммерческим использованием файла проверьте её.

Связанные термины

  • Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
  • VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.

Все термины