ИИ на устройстве (on-device)
ИИ на устройстве означает, что модель работает на вашем собственном телефоне, ноутбуке или небольшой плате, а не в облаке, поэтому данные остаются локально и всё работает офлайн.
Локальный запуск избавляет от отправки личных текстов, аудио или изображений на сервер, работает без подключения и не требует платы за каждый запрос. Ограничения — память и скорость: у телефонов и ноутбуков от нескольких до нескольких десятков гигабайт, поэтому модели на устройстве небольшие — примерно от 1 до 10 миллиардов параметров или смеси экспертов, активирующей лишь несколько миллиардов, — и обычно квантованы до 4 бит.
Примеры на этом сайте включают модели E2B и E4B у Gemma 4, LFM3 от Liquid AI, модель 1B у MiniCPM-V 4.7 и Voxtral Realtime от Mistral для речи. За упаковку отвечают среды выполнения вроде llama.cpp, MLX и Ollama. На телефонах важны расход батареи и нагрев, поэтому измеряйте скорость на реальном устройстве.
Связанные термины
- Квантование Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
- Единая память Единая память — это подход, используемый чипами Apple и некоторыми другими: CPU и GPU делят один пул памяти, поэтому большая модель может занять большую его часть.
- GGUF GGUF — это однофайловый формат моделей, используемый llama.cpp и построенными на нём инструментами: он упаковывает квантованные веса вместе с информацией, необходимой для их запуска.
- VRAM (видеопамять) VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.