Инференс
Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.
Обучение учит модель, подгоняя её параметры на огромных объёмах данных, и требует кластеров GPU. Инференс лишь читает готовые веса и выдаёт ответы, поэтому он гораздо дешевле и часто умещается на одной машине.
Когда вы запускаете открытую модель с помощью инструмента вроде Ollama, LM Studio, llama.cpp или vLLM, вы занимаетесь инференсом. Скорость зависит от объёма памяти, пропускной способности памяти и используемого движка.
Связанные термины
- Дообучение (fine-tuning) Дообучение продолжает обучение предобученной модели на ваших собственных примерах, чтобы она лучше работала в конкретной задаче, стиле или предметной области.
- Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.