llama.cpp

로컬 AI의 상당 부분을 떠받치는 C/C++ 엔진. 거의 모든 하드웨어에서 양자화 모델을 구동하는 CLI 도구와 OpenAI 호환 서버 제공.

  • 로컬 실행
  • MIT · 오픈소스
  • macOS, Windows, Linux
  • 검증

llama.cpp는 외부 의존성 없는 순수 C/C++로 작성된 오픈소스 추론 엔진입니다. 스스로 밝힌 목표는 언어 및 비전-언어 모델을 최소한의 설정으로, 로컬과 클라우드 모두에서 다양한 하드웨어 위에 강력한 성능으로 구동하는 것입니다. Apple 실리콘이 1급 타깃이며, AVX와 AMX를 갖춘 x86 CPU, CUDA를 통한 NVIDIA GPU, HIP를 통한 AMD GPU, 그리고 Vulkan, SYCL, Metal, OpenCL 등 다른 백엔드도 지원합니다.

핵심 기술은 양자화입니다. 가중치를 값당 1.5~8비트로 저장해 메모리 사용을 줄이고 생성 속도를 높이며, CPU+GPU 하이브리드 추론으로 비디오 메모리보다 큰 모델도 부분 가속할 수 있습니다. 모델은 GGUF 형식으로 배포됩니다. llama cli 명령은 -hf 플래그로 Hugging Face에서 모델을 바로 내려받아 실행하고, llama serve는 내장 웹 인터페이스를 갖춘 OpenAI 호환 API 서버를 시작합니다.

더 친숙한 많은 도구들이 이 엔진 위에서 만들어졌습니다. LM Studio는 내부적으로 llama.cpp와 MLX를 사용한다고 밝히고, Unsloth도 모델 실행과 내보내기에 이를 사용합니다. 최대한의 제어력, 최소한의 오버헤드, 혹은 낯선 하드웨어에서 모델 구동이 필요하다면 llama.cpp를 직접 사용하세요.

적합한 용도

  • CPU, 구형 GPU, Apple 실리콘 등 낯선 하드웨어에서 모델 구동
  • 2~6비트 양자화로 큰 모델을 한정된 메모리에 넣기
  • OpenAI 호환 API를 갖춘 작고 의존성 없는 로컬 서버 구축
  • 로컬 추론이 실제로 어떻게 동작하는지 배우기

주의할 점

  • 명령줄 도구라 Ollama나 LM Studio보다 학습 곡선이 가파름
  • 양자화를 세게 하면 메모리는 절약되지만 품질이 떨어지므로, 사용할 정밀도로 직접 작업을 시험해야 함
  • 완전히 새로운 모델 아키텍처 지원은 출시보다 늦어질 수 있음

링크