Inferencia

La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.

  • Lo básico
  • Actualización

El entrenamiento enseña a un modelo ajustando sus parámetros sobre cantidades enormes de datos y necesita grupos de GPU. La inferencia solo lee los pesos terminados y produce respuestas, por lo que es mucho más barata y a menudo puede ejecutarse en una sola máquina.

Cuando ejecutas un modelo abierto con una herramienta como Ollama, LM Studio, llama.cpp o vLLM, estás haciendo inferencia. La velocidad depende de la capacidad de memoria, del ancho de banda de la memoria y del motor que uses.

Términos relacionados

  • Ajuste fino (fine-tuning) El ajuste fino continúa el entrenamiento de un modelo preentrenado con tus propios ejemplos para que se comporte mejor en una tarea, un estilo o un dominio concretos.
  • Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
  • VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.

Todos los términos