Inferencia
La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.
El entrenamiento enseña a un modelo ajustando sus parámetros sobre cantidades enormes de datos y necesita grupos de GPU. La inferencia solo lee los pesos terminados y produce respuestas, por lo que es mucho más barata y a menudo puede ejecutarse en una sola máquina.
Cuando ejecutas un modelo abierto con una herramienta como Ollama, LM Studio, llama.cpp o vLLM, estás haciendo inferencia. La velocidad depende de la capacidad de memoria, del ancho de banda de la memoria y del motor que uses.
Términos relacionados
- Ajuste fino (fine-tuning) El ajuste fino continúa el entrenamiento de un modelo preentrenado con tus propios ejemplos para que se comporte mejor en una tarea, un estilo o un dominio concretos.
- Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
- VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.