GGUF
GGUF — это однофайловый формат моделей, используемый llama.cpp и построенными на нём инструментами: он упаковывает квантованные веса вместе с информацией, необходимой для их запуска.
Файл GGUF содержит веса модели (обычно квантованные) вместе с её токенизатором и настройками, поэтому для запуска достаточно одного файла. Названия вроде Q4_K_M указывают уровень квантования.
llama.cpp и построенные на нём инструменты, например LM Studio, читают файлы GGUF, а Unsloth умеет экспортировать в этот формат. Многие файлы публикуются на Hugging Face разработчиком модели или участниками сообщества. На GGUF, созданный из модели, по-прежнему распространяется её лицензия, поэтому перед коммерческим использованием файла проверьте её.
Связанные термины
- Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.