온디바이스 AI(On-device AI)
온디바이스 AI는 모델을 클라우드가 아니라 자신의 휴대폰, 노트북, 소형 보드에서 직접 돌리는 것을 뜻합니다. 데이터는 로컬에 머물고 오프라인에서도 동작합니다.
로컬 실행은 민감한 텍스트, 오디오, 이미지를 서버로 보내지 않아도 되고, 연결 없이도 동작하며, 요청당 요금도 없습니다. 한계는 메모리와 속도입니다. 휴대폰과 노트북은 몇 GB에서 수십 GB의 메모리를 갖추고 있어, 온디바이스 모델은 작은 편입니다. 대략 1B~10B 파라미터이거나 몇십억 개만 활성화하는 MoE(혼합 전문가) 모델이며, 보통 4비트로 양자화됩니다.
이 사이트의 예로는 Gemma 4의 E2B·E4B 모델, Liquid AI의 LFM3, MiniCPM-V 4.7의 1B 모델, 음성용 Mistral Voxtral Realtime이 있습니다. 패키징은 llama.cpp, MLX, Ollama 같은 런타임이 처리합니다. 휴대폰에서는 배터리 사용량과 발열이 중요하므로, 속도는 실제 기기에서 측정하세요.
관련 용어
- 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
- 유니파이드 메모리(Unified memory) 유니파이드 메모리는 Apple 실리콘 등 일부 칩이 채택한 설계로, CPU와 GPU가 하나의 메모리 풀을 공유하므로 큰 모델도 그 대부분을 사용할 수 있습니다.
- GGUF GGUF는 llama.cpp와 그 위에 만들어진 도구들이 쓰는 단일 파일 모델 형식으로, 양자화된 가중치와 실행에 필요한 정보를 한 파일에 담습니다.
- VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.