Самохостинг (Self-hosting)
Самохостинг означает запуск модели на оборудовании, которое контролируете вы, — например, на своём ПК или арендованном GPU-сервере, — вместо обращения к API поставщика.
Открытые веса делают самохостинг возможным: вы скачиваете модель и обслуживаете её сами — на одном компьютере с помощью такого инструмента, как Ollama или llama.cpp, или на сервере с vLLM или SGLang. Вы решаете, куда идут данные, и можете дообучить модель (файнтюнинг), а платите за оборудование, а не за токены.
Это не всегда дешевле или проще. Вы платите за GPU независимо от того, заняты они или нет, сами занимаетесь обновлениями и масштабированием, а самым крупным моделям нужно много GPU. Многие открытые модели можно использовать и через хостинговые API, а некоторые лицензии ограничивают продажу hosted-доступа, поэтому проверьте лицензию, если планируете предлагать модель как сервис.
Связанные термины
- Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.
- API, совместимый с OpenAI API, совместимый с OpenAI, — это сервер, который принимает те же запросы, что и API OpenAI, поэтому приложения, написанные под неё, могут вместо неё использовать открытую модель.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.
- Открытые веса (open weights) Модель с открытыми весами — это модель ИИ, чьи обученные параметры, называемые весами, опубликованы, так что любой может скачать её и запустить, обычно под лицензией, задающей условия использования.