Инструменты для запуска моделей

Модели — это просто файлы. Эти программы загружают их и позволяют с ними общаться.

Локальный запуск

Приложения и консольные утилиты, которые скачивают модель и позволяют общаться с ней на своей машине.

  • Ollama EN

    The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.

    Открытый кодMITmacOS, Windows, Linux
  • llama.cpp

    Движок на C/C++, на котором стоит значительная часть локального ИИ: запускает квантизованные модели почти на любом оборудовании, с утилитой командной строки и сервером, совместимым с OpenAI.

    Открытый кодMITmacOS, Windows, Linux
  • KoboldCpp

    Однофайловое приложение, которое запускает GGUF-модели со встроенным веб-интерфейсом, а также генерирует изображения, видео, речь и музыку.

    Открытый кодAGPL-3.0macOS, Windows, Linux
  • MLC LLM EN

    A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.

    Открытый кодApache 2.0macOS, Windows, Linux
  • whisper.cpp EN

    A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.

    Открытый кодMITmacOS, Windows, Linux
  • stable-diffusion.cpp EN

    A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.

    Открытый кодMITmacOS, Windows, Linux

Масштабируемое развёртывание

Движки, рассчитанные на скорость и много одновременных пользователей, обычно на GPU-серверах.

  • vLLM EN

    The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.

    Открытый кодApache 2.0Linux
  • SGLang EN

    A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.

    Открытый кодApache 2.0Linux, macOS
  • TensorRT LLM EN

    NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.

    Открытый кодApache 2.0Linux
  • KTransformers

    Исследовательский фреймворк, который распределяет работу между GPU и памятью компьютера, чтобы запускать огромные MoE-модели.

    Открытый кодApache 2.0Linux
  • Text Embeddings Inference EN

    Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.

    Открытый кодApache 2.0macOS, Linux
  • LocalAI EN

    A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.

    Открытый кодMITmacOS, Linux
  • vLLM-Omni EN

    The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.

    Открытый кодApache 2.0Linux
  • LightX2V

    Легковесный фреймворк инференса для генерации изображений и видео: дистиллированные модели, квантизация и множество аппаратных бэкендов.

    Открытый кодApache 2.0Linux

Библиотеки

Библиотеки кода, на основе которых строят свои продукты разработчики.

  • Hugging Face Transformers EN

    The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.

    Открытый кодApache 2.0macOS, Windows, Linux
  • MLX LM EN

    Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.

    Открытый кодMITmacOS
  • Diffusers

    Python-библиотека Hugging Face для запуска и обучения диффузионных моделей изображений, видео и аудио.

    Открытый кодApache 2.0macOS, Windows, Linux
  • ExLlamaV3

    CUDA-библиотека инференса для потребительских GPU: собственная квантизация EXL3, тензорный параллелизм и выгрузка на CPU для MoE-моделей.

    Открытый кодMITWindows, Linux
  • DiffSynth-Studio

    Открытый движок диффузии сообщества ModelScope: запуск и обучение моделей изображений, видео и аудио на скромных GPU.

    Открытый кодApache 2.0

Интерфейсы

Веб- и настольные интерфейсы поверх инструмента запуска моделей.

  • LM Studio EN

    A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.

    Бесплатное использование, но исходный код закрытProprietary (free plan)macOS, Windows, Linux
  • Open WebUI EN

    A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.

    Бесплатное использование, но исходный код закрытOpen WebUI LicensemacOS, Windows, Linux
  • ComfyUI

    Студия на узлах для открытых моделей изображений, видео, аудио и 3D: стройте визуальные workflow и запускайте их на своём GPU.

    Открытый кодGPL-3.0macOS, Windows, Linux
  • Jan

    Бесплатная открытая настольная альтернатива ChatGPT: скачивает и запускает открытые модели офлайн, а также подключается к облачным API.

    Открытый кодApache 2.0macOS, Windows, Linux
  • AnythingLLM

    Приложение всё в одном: общение с документами, агенты и локальные модели — настольное или многопользовательский Docker-сервер.

    Открытый кодMITmacOS, Windows, Linux
  • InvokeAI

    Самостоятельно размещаемая творческая студия для генерации изображений ИИ: послойный холст, узловые workflow и менеджер моделей.

    Открытый кодApache 2.0macOS, Windows, Linux

Дообучение

Инструменты для адаптации модели под ваши данные.

  • Unsloth EN

    Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.

    Открытый кодApache 2.0 and AGPL-3.0macOS, Windows, Linux
  • Axolotl

    Бесплатный фреймворк дообучения на одном YAML-файле: LoRA, QLoRA, обучение на предпочтениях, NVFP4 и expert-parallel для MoE-моделей.

    Открытый кодApache 2.0Linux
  • LLaMA-Factory EN

    Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.

    Открытый кодApache 2.0Windows, Linux
  • AI Toolkit

    Единый набор для обучения от Ostris для диффузионных моделей изображений, видео и аудио — с веб-интерфейсом и командной строкой.

    Открытый кодMITmacOS, Windows, Linux