Троичные веса (1,58 бита)
Троичные веса ограничивают каждый вес модели одним из трёх значений, -1, 0 или +1, поэтому модели нужно менее 2 бит на вес вместо 16.
Три значения несут log2(3), то есть около 1,58 бита информации, поэтому троичные модели часто называют 1,58-битными. Реальным файлам нужно чуть больше, ведь каждая группа весов хранит ещё и масштабный коэффициент. Ternary Bonsai 2 от PrismML использует один 16-битный масштаб на 128 весов — это около 1,7 бита на вес, и модель сжимается примерно до одной девятой своего 16-битного размера.
Троичные веса — крайняя форма квантизации. Качество падает, у малых моделей сильнее, чем у больших, а файлам обычно нужен специальный рантайм: самые компактные упаковки Ternary Bonsai 2 работают на форке llama.cpp от PrismML. Наш калькулятор VRAM считает троичные файлы по 0,22 байта на параметр.
Связанные термины
- Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
- Точность (BF16, FP8, INT4) Точность — это сколько бит используется для хранения каждого числа в модели, например 16-битный BF16, 8-битный FP8 или 4-битный INT4; меньше бит — меньше и быстрее модель.
- GGUF GGUF — это однофайловый формат моделей, используемый llama.cpp и построенными на нём инструментами: он упаковывает квантованные веса вместе с информацией, необходимой для их запуска.