Параметры
Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.
Параметр — это одно выученное число, обычно вес. Модель с 7 миллиардами параметров, записываемая как 7B, хранит семь миллиардов таких чисел. Больше параметров обычно дают модели больше способности к обучению, но означают и больший объём загрузки и больше памяти для запуска.
Это число может обмануть в моделях-смесях экспертов, которые указывают общий размер и меньшее активное число, используемое для каждого токена. Модели с «120B всего, 5B активных» нужна память на весь объём, но считает она только активной частью. Одно лишь число параметров не говорит и о качестве: обучающие данные, метод обучения и архитектура значат не меньше.
Связанные термины
- Смесь экспертов (MoE) Модель смеси экспертов содержит множество специализированных подсетей и использует лишь несколько из них для каждого токена, поэтому может быть очень большой и при этом быстрой.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.
- Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.