추론(Inference)
추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.
학습은 방대한 데이터 위에서 파라미터를 조정하며 모델을 가르치는 작업으로, GPU 클러스터가 필요합니다. 추론은 완성된 가중치를 읽어 답을 내놓을 뿐이므로 훨씬 저렴하고, 한 대의 머신에서 돌아가는 경우가 많습니다.
Ollama, LM Studio, llama.cpp, vLLM 같은 도구로 오픈 모델을 돌릴 때 여러분은 추론을 하고 있는 것입니다. 속도는 메모리 용량, 메모리 대역폭, 그리고 사용하는 엔진에 따라 달라집니다.
관련 용어
- 파인튜닝(Fine-tuning) 파인튜닝은 사전 학습된 모델의 학습을 자신의 예제로 이어서, 특정 작업·스타일·도메인에서 더 잘 동작하도록 만드는 것입니다.
- 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
- VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.