VRAM (видеопамять)
VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.
Прежде чем модель ответит, её веса нужно загрузить в память. На GPU это VRAM. Если модель не помещается, ПО либо отказывается её загружать, либо выгружается в более медленную системную память, и генерация становится намного медленнее.
Грубое правило: нужная память в гигабайтах — это примерно число параметров в миллиардах, умноженное на байты на параметр, плюс около 15% накладных расходов, а для длинных контекстов ещё больше. При 4-битной точности модели 30B нужно около 20 ГБ. Калькулятор VRAM на этом сайте оценивает её для конкретной модели на нескольких точностях.
Связанные термины
- Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
- Единая память Единая память — это подход, используемый чипами Apple и некоторыми другими: CPU и GPU делят один пул памяти, поэтому большая модель может занять большую его часть.
- KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.