オンデバイス AI(On-device AI)

オンデバイス AI とは、モデルをクラウドではなく自分のスマホ、ノート PC、小型ボード上で動かすことを指します。データは手元に留まり、オフラインでも動作します。

  • モデルの使い方
  • 更新日

ローカルで実行すれば、プライベートなテキスト、音声、画像をサーバーに送らずに済み、ネット接続がなくても動き、リクエストごとの課金もありません。制約はメモリと速度です。スマホやノート PC のメモリは数 GB から数十 GB 程度なので、オンデバイス向けのモデルは小型で、おおむね 1B〜10B パラメータのモデルか、数十億パラメータだけを活性化する MoE(混合エキスパート)モデルであり、通常は 4 ビットに量子化されます。

本サイトの例には、Gemma 4 の E2B・E4B、Liquid AI の LFM3、MiniCPM-V 4.7 の 1B モデル、音声向けの Mistral Voxtral Realtime が挙げられます。パッケージングは llama.cpp、MLX、Ollama といったランタイムが担います。スマホでは電池消費と発熱が問題になるため、速度は実際のデバイスで計測してください。

関連用語

  • 量子化 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
  • ユニファイドメモリ(Unified memory) ユニファイドメモリは、Appleシリコンなど一部のチップが採用する設計で、CPUとGPUが1つのメモリプールを共有するため、大きなモデルがその大部分を使えます。
  • GGUF GGUF は llama.cpp およびそれを基盤とするツールが使う単一ファイルのモデル形式で、量子化された重みと実行に必要な情報を 1 つのファイルにまとめます。
  • VRAM VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。

すべての用語