GGUF

GGUF는 llama.cpp와 그 위에 만들어진 도구들이 쓰는 단일 파일 모델 형식으로, 양자화된 가중치와 실행에 필요한 정보를 한 파일에 담습니다.

  • 하드웨어와 메모리
  • 업데이트

GGUF 파일에는 모델의 가중치(보통 양자화됨)와 토크나이저, 설정이 함께 들어 있어 파일 하나만으로 모델을 실행할 수 있습니다. Q4_K_M 같은 이름은 양자화 수준을 나타냅니다.

llama.cpp와 LM Studio처럼 그 위에 만들어진 도구들은 GGUF 파일을 읽을 수 있고, Unsloth도 이 형식으로 내보낼 수 있습니다. 많은 GGUF가 모델 개발자나 커뮤니티 구성원에 의해 Hugging Face에 공개됩니다. 원본 모델에서 만든 GGUF에도 원본 모델의 라이선스가 그대로 적용되므로, 상업적으로 쓰기 전에 반드시 확인하세요.

관련 용어

  • 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.

전체 용어