Autoalojamiento (Self-hosting)
El autoalojamiento consiste en ejecutar un modelo en hardware que controlas tú, como tu propio PC o un servidor de GPU alquilado, en lugar de llamar a la API de un proveedor.
Los pesos abiertos hacen posible el autoalojamiento: descargas el modelo y lo sirves tú mismo, con una herramienta como Ollama o llama.cpp en una sola máquina, o vLLM o SGLang en un servidor. Tú decides adónde van los datos y puedes ajustar el modelo con fine-tuning, y pagas por hardware en lugar de tarifas por token.
No siempre es más barato ni más fácil. Pagas por las GPUs estén o no ocupadas, te encargas de las actualizaciones y del escalado, y los modelos más grandes necesitan muchas GPUs. Muchos modelos abiertos también pueden usarse mediante APIs alojadas, y algunas licencias restringen vender acceso alojado, así que revisa la licencia si piensas ofrecer un modelo como servicio.
Términos relacionados
- Inferencia La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.
- API compatible con OpenAI Una API compatible con OpenAI es un servidor que acepta las mismas peticiones que la API de OpenAI, así que las apps escritas para ella pueden usar un modelo abierto en su lugar.
- VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.
- Pesos abiertos (open weights) Un modelo de pesos abiertos es un modelo de IA cuyos parámetros entrenados, llamados pesos, se publican para que cualquiera pueda descargarlo y ejecutarlo, normalmente bajo una licencia que fija las condiciones de uso.