Точность (BF16, FP8, INT4)
Точность — это сколько бит используется для хранения каждого числа в модели, например 16-битный BF16, 8-битный FP8 или 4-битный INT4; меньше бит — меньше и быстрее модель.
Модели обычно обучаются в 16-битных форматах вроде BF16. Релиз может быть также предложен в более низкой точности: FP8 и INT8 используют один байт на вес, INT4 и FP4 — полбайта. Модель 30B занимает примерно 60 ГБ в BF16, 30 ГБ в FP8 и 15 ГБ в 4 битах, без учёта накладных расходов.
Каждая страница модели на этом сайте указывает точность каждой выпущенной версии, а её таблица памяти оценивает потребности при BF16, FP8 и 4 битах.
Связанные термины
- Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.