ИИ на устройстве (on-device)

ИИ на устройстве означает, что модель работает на вашем собственном телефоне, ноутбуке или небольшой плате, а не в облаке, поэтому данные остаются локально и всё работает офлайн.

  • Использование моделей
  • Обновлено

Локальный запуск избавляет от отправки личных текстов, аудио или изображений на сервер, работает без подключения и не требует платы за каждый запрос. Ограничения — память и скорость: у телефонов и ноутбуков от нескольких до нескольких десятков гигабайт, поэтому модели на устройстве небольшие — примерно от 1 до 10 миллиардов параметров или смеси экспертов, активирующей лишь несколько миллиардов, — и обычно квантованы до 4 бит.

Примеры на этом сайте включают модели E2B и E4B у Gemma 4, LFM3 от Liquid AI, модель 1B у MiniCPM-V 4.7 и Voxtral Realtime от Mistral для речи. За упаковку отвечают среды выполнения вроде llama.cpp, MLX и Ollama. На телефонах важны расход батареи и нагрев, поэтому измеряйте скорость на реальном устройстве.

Связанные термины

  • Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
  • Единая память Единая память — это подход, используемый чипами Apple и некоторыми другими: CPU и GPU делят один пул памяти, поэтому большая модель может занять большую его часть.
  • GGUF GGUF — это однофайловый формат моделей, используемый llama.cpp и построенными на нём инструментами: он упаковывает квантованные веса вместе с информацией, необходимой для их запуска.
  • VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.

Все термины