온디바이스 AI(On-device AI)

온디바이스 AI는 모델을 클라우드가 아니라 자신의 휴대폰, 노트북, 소형 보드에서 직접 돌리는 것을 뜻합니다. 데이터는 로컬에 머물고 오프라인에서도 동작합니다.

  • 모델 활용
  • 업데이트

로컬 실행은 민감한 텍스트, 오디오, 이미지를 서버로 보내지 않아도 되고, 연결 없이도 동작하며, 요청당 요금도 없습니다. 한계는 메모리와 속도입니다. 휴대폰과 노트북은 몇 GB에서 수십 GB의 메모리를 갖추고 있어, 온디바이스 모델은 작은 편입니다. 대략 1B~10B 파라미터이거나 몇십억 개만 활성화하는 MoE(혼합 전문가) 모델이며, 보통 4비트로 양자화됩니다.

이 사이트의 예로는 Gemma 4의 E2B·E4B 모델, Liquid AI의 LFM3, MiniCPM-V 4.7의 1B 모델, 음성용 Mistral Voxtral Realtime이 있습니다. 패키징은 llama.cpp, MLX, Ollama 같은 런타임이 처리합니다. 휴대폰에서는 배터리 사용량과 발열이 중요하므로, 속도는 실제 기기에서 측정하세요.

관련 용어

  • 양자화 양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
  • 유니파이드 메모리(Unified memory) 유니파이드 메모리는 Apple 실리콘 등 일부 칩이 채택한 설계로, CPU와 GPU가 하나의 메모리 풀을 공유하므로 큰 모델도 그 대부분을 사용할 수 있습니다.
  • GGUF GGUF는 llama.cpp와 그 위에 만들어진 도구들이 쓰는 단일 파일 모델 형식으로, 양자화된 가중치와 실행에 필요한 정보를 한 파일에 담습니다.
  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.

전체 용어