Auto-hospedagem (Self-hosting)
Auto-hospedagem significa executar um modelo em hardware sob seu controle, como o seu próprio PC ou um servidor de GPU alugado, em vez de chamar a API de um fornecedor.
Os pesos abertos tornam a auto-hospedagem possível: você baixa o modelo e o serve você mesmo, com uma ferramenta como Ollama ou llama.cpp em uma única máquina, ou vLLM ou SGLang em um servidor. Você decide para onde vão os dados e pode ajustar o modelo com fine-tuning, e paga por hardware em vez de tarifas por token.
Nem sempre é mais barato ou mais fácil. Você paga pelas GPUs estejam elas ocupadas ou não, cuida das atualizações e do dimensionamento, e os maiores modelos precisam de muitas GPUs. Muitos modelos abertos também podem ser usados por meio de APIs hospedadas, e algumas licenças restringem a venda de acesso hospedado, então verifique a licença se planeja oferecer um modelo como serviço.
Termos relacionados
- Inferência Inferência é o ato de executar um modelo treinado para obter uma saída, por exemplo responder a um prompt, em oposição a treiná-lo.
- API compatível com OpenAI Uma API compatível com OpenAI é um servidor que aceita as mesmas requisições que a API da OpenAI, então apps escritas para ela podem usar um modelo aberto em vez dela.
- VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.
- Pesos abertos (open weights) Um modelo de pesos abertos é um modelo de IA cujos parâmetros treinados, chamados pesos, são publicados para que qualquer pessoa possa baixá-lo e executá-lo, geralmente sob uma licença que define as condições de uso.