GGUF
GGUF는 llama.cpp와 그 위에 만들어진 도구들이 쓰는 단일 파일 모델 형식으로, 양자화된 가중치와 실행에 필요한 정보를 한 파일에 담습니다.
GGUF 파일에는 모델의 가중치(보통 양자화됨)와 토크나이저, 설정이 함께 들어 있어 파일 하나만으로 모델을 실행할 수 있습니다. Q4_K_M 같은 이름은 양자화 수준을 나타냅니다.
llama.cpp와 LM Studio처럼 그 위에 만들어진 도구들은 GGUF 파일을 읽을 수 있고, Unsloth도 이 형식으로 내보낼 수 있습니다. 많은 GGUF가 모델 개발자나 커뮤니티 구성원에 의해 Hugging Face에 공개됩니다. 원본 모델에서 만든 GGUF에도 원본 모델의 라이선스가 그대로 적용되므로, 상업적으로 쓰기 전에 반드시 확인하세요.