Inferência
Inferência é o ato de executar um modelo treinado para obter uma saída, por exemplo responder a um prompt, em oposição a treiná-lo.
O treinamento ensina o modelo ajustando seus parâmetros sobre enormes volumes de dados e exige clusters de GPUs. A inferência apenas lê os pesos prontos e produz respostas, por isso é muito mais barata e muitas vezes roda em uma única máquina.
Quando você executa um modelo aberto com uma ferramenta como Ollama, LM Studio, llama.cpp ou vLLM, está fazendo inferência. A velocidade depende da capacidade de memória, da largura de banda da memória e do motor que você usa.
Termos relacionados
- Ajuste fino (fine-tuning) O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.
- Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.
- VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.