Квантование
Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
16-битный вес занимает 2 байта, а 4-битный — около полубайта. Квантование модели с 16 бит до 4 бит сокращает её, следовательно, примерно до четверти размера, что часто означает разницу между «нужен сервер» и «помещается на игровой GPU».
Распространённые форматы включают FP8, INT8 и INT4, а также более новые 4-битные форматы с плавающей запятой вроде MXFP4 и NVFP4. Формат GGUF, используемый llama.cpp, поддерживает много уровней квантования. Чем меньше бит, тем выше риск потери качества, особенно у маленьких моделей, поэтому проверяйте на том уровне, который собираетесь использовать.
Связанные термины
- Точность (BF16, FP8, INT4) Точность — это сколько бит используется для хранения каждого числа в модели, например 16-битный BF16, 8-битный FP8 или 4-битный INT4; меньше бит — меньше и быстрее модель.
- GGUF GGUF — это однофайловый формат моделей, используемый llama.cpp и построенными на нём инструментами: он упаковывает квантованные веса вместе с информацией, необходимой для их запуска.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.