추론(Inference)

추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.

  • 기초 개념
  • 업데이트

학습은 방대한 데이터 위에서 파라미터를 조정하며 모델을 가르치는 작업으로, GPU 클러스터가 필요합니다. 추론은 완성된 가중치를 읽어 답을 내놓을 뿐이므로 훨씬 저렴하고, 한 대의 머신에서 돌아가는 경우가 많습니다.

Ollama, LM Studio, llama.cpp, vLLM 같은 도구로 오픈 모델을 돌릴 때 여러분은 추론을 하고 있는 것입니다. 속도는 메모리 용량, 메모리 대역폭, 그리고 사용하는 엔진에 따라 달라집니다.

관련 용어

  • 파인튜닝(Fine-tuning) 파인튜닝은 사전 학습된 모델의 학습을 자신의 예제로 이어서, 특정 작업·스타일·도메인에서 더 잘 동작하도록 만드는 것입니다.
  • 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.

전체 용어