Квантование

Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.

  • Оборудование и память
  • Обновлено

16-битный вес занимает 2 байта, а 4-битный — около полубайта. Квантование модели с 16 бит до 4 бит сокращает её, следовательно, примерно до четверти размера, что часто означает разницу между «нужен сервер» и «помещается на игровой GPU».

Распространённые форматы включают FP8, INT8 и INT4, а также более новые 4-битные форматы с плавающей запятой вроде MXFP4 и NVFP4. Формат GGUF, используемый llama.cpp, поддерживает много уровней квантования. Чем меньше бит, тем выше риск потери качества, особенно у маленьких моделей, поэтому проверяйте на том уровне, который собираетесь использовать.

Связанные термины

  • Точность (BF16, FP8, INT4) Точность — это сколько бит используется для хранения каждого числа в модели, например 16-битный BF16, 8-битный FP8 или 4-битный INT4; меньше бит — меньше и быстрее модель.
  • GGUF GGUF — это однофайловый формат моделей, используемый llama.cpp и построенными на нём инструментами: он упаковывает квантованные веса вместе с информацией, необходимой для их запуска.
  • VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.

Все термины