셀프 호스팅(Self-hosting)

셀프 호스팅은 벤더 API를 호출하는 대신 자신의 PC나 임대한 GPU 서버처럼 직접 관리하는 하드웨어에서 모델을 실행하는 것을 말합니다.

  • 모델 활용
  • 업데이트

오픈 웨이트 덕분에 셀프 호스팅이 가능합니다. 모델을 다운로드해 직접 서비스하는 것으로, 한 대의 머신에서는 Ollama나 llama.cpp, 서버에서는 vLLM이나 SGLang 같은 도구를 사용합니다. 데이터의 흐름을 직접 결정할 수 있고 모델을 파인튜닝할 수도 있으며, 토큰 단위 요금 대신 하드웨어 비용을 지불합니다.

항상 더 저렴하거나 쉬운 것은 아닙니다. GPU가 놀고 있어도 비용을 지불해야 하고, 업데이트와 확장을 직접 처리해야 하며, 가장 큰 모델은 여러 장의 GPU가 필요합니다. 많은 오픈 모델은 호스티드 API로도 사용할 수 있고, 호스티드 접근 판매를 제한하는 라이선스도 있으므로 모델을 서비스로 제공할 계획이라면 라이선스를 확인하세요.

관련 용어

  • 추론(Inference) 추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.
  • OpenAI 호환 API OpenAI 호환 API는 OpenAI API와 같은 요청을 받아들이는 서버로, OpenAI용으로 작성된 앱이 대신 오픈 모델을 사용할 수 있습니다.
  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.
  • 오픈 웨이트(Open weights) 오픈 웨이트 모델은 학습된 파라미터(가중치)가 공개된 AI 모델로, 누구나 다운로드해 실행할 수 있으며, 보통 이용 조건을 정한 라이선스가 붙습니다.

전체 용어