llama.cpp

Движок на C/C++, на котором стоит значительная часть локального ИИ: запускает квантизованные модели почти на любом оборудовании, с утилитой командной строки и сервером, совместимым с OpenAI.

  • Локальный запуск
  • MIT · Открытый код
  • macOS, Windows, Linux
  • Проверено

llama.cpp — открытый движок инференса, написанный на чистом C/C++ без зависимостей. Его цель, по собственной формулировке, — запускать языковые и визуально-языковые модели с минимальной настройкой и высокой производительностью на широком спектре оборудования, локально и в облаке. Apple Silicon — первоклассная цель; также поддерживаются CPU x86 с AVX и AMX, GPU NVIDIA через CUDA, GPU AMD через HIP, а также Vulkan, SYCL, Metal, OpenCL и другие бэкенды.

Главный приём — квантизация: веса можно хранить с 1,5 до 8 бит на значение, что сокращает расход памяти и ускоряет генерацию, а гибридный инференс CPU+GPU позволяет частично ускорить модель, которая больше вашей видеопамяти. Модели распространяются в формате GGUF. Команда llama cli скачивает и запускает модель прямо с Hugging Face с флагом -hf, а llama serve поднимает совместимый с OpenAI API-сервер со встроенным веб-интерфейсом.

На нём построено множество более дружелюбных инструментов. LM Studio говорит, что использует llama.cpp и MLX под капотом, а Unsloth применяет его для запуска и экспорта моделей. Если вам нужен максимум контроля, минимальные накладные расходы или запуск модели на нестандартном оборудовании — используйте llama.cpp напрямую.

Подходит для

  • Запуск моделей на CPU, старых GPU, Apple Silicon и другом нестандартном оборудовании
  • Уместить большую модель в ограниченную память с помощью квантизации 2–6 бит
  • Поднять небольшой локальный сервер без зависимостей с OpenAI-совместимым API
  • Разобраться, как на самом деле работает локальный инференс

На что обратить внимание

  • Это инструмент командной строки, поэтому кривая обучения круче, чем у Ollama или LM Studio
  • Более сильная квантизация экономит память, но снижает качество, поэтому проверьте свою задачу на той точности, которую планируете использовать
  • Поддержка совершенно новой архитектуры модели может запаздывать относительно её выхода

Ссылки