OpenAI 호환 API
OpenAI 호환 API는 OpenAI API와 같은 요청을 받아들이는 서버로, OpenAI용으로 작성된 앱이 대신 오픈 모델을 사용할 수 있습니다.
llama.cpp와 vLLM은 모두 이런 서버를 제공하며, Open WebUI 같은 프런트엔드는 이런 종류의 서버라면 어디든 연결할 수 있습니다. 애플리케이션을 로컬 모델로 전환할 때는 보통 베이스 URL과 모델 이름만 바꾸고, 요청을 만드는 코드는 그대로 둡니다.
호환성은 부분적입니다. 채팅 완성 같은 기본 기능은 거의 어디서든 동작하지만, 도구 호출, 구조화된 출력, 이미지 입력 같은 기능은 서버와 모델에 따라 다르므로, 의존하는 기능은 직접 시험해 보세요.
관련 용어
- 추론(Inference) 추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.