モデルを動かすツール

モデルはただのファイルにすぎません。それを読み込んで対話できるようにするのが、ここにあるプログラムです。

ローカル実行

モデルをダウンロードして、自分のマシン上で対話できるアプリやコマンドラインツールです。

  • Ollama EN

    The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.

    オープンソースMITmacOS, Windows, Linux
  • llama.cpp

    ローカル AI の多くを支える C/C++ エンジン。ほぼあらゆるハードウェアで量子化モデルを動かせる CLI ツールと OpenAI 互換サーバー。

    オープンソースMITmacOS, Windows, Linux
  • KoboldCpp

    GGUF モデルを内蔵の Web UI で実行する単一ファイルアプリ。画像・動画・音声・音楽の生成にも対応します。

    オープンソースAGPL-3.0macOS, Windows, Linux
  • MLC LLM EN

    A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.

    オープンソースApache 2.0macOS, Windows, Linux
  • whisper.cpp EN

    A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.

    オープンソースMITmacOS, Windows, Linux
  • stable-diffusion.cpp EN

    A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.

    オープンソースMITmacOS, Windows, Linux

大規模サービング

高速性と多数の同時ユーザー向けに作られたエンジンで、通常はGPUサーバー上で動かします。

  • vLLM EN

    The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.

    オープンソースApache 2.0Linux
  • SGLang EN

    A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.

    オープンソースApache 2.0Linux, macOS
  • TensorRT LLM EN

    NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.

    オープンソースApache 2.0Linux
  • KTransformers

    GPU と CPU メモリで処理を分担し、超大規模な混合エキスパート(MoE)モデルを動かす研究向けフレームワーク。

    オープンソースApache 2.0Linux
  • Text Embeddings Inference EN

    Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.

    オープンソースApache 2.0macOS, Linux
  • LocalAI EN

    A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.

    オープンソースMITmacOS, Linux
  • vLLM-Omni EN

    The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.

    オープンソースApache 2.0Linux
  • LightX2V

    画像・動画生成向けの軽量推論フレームワーク。蒸留モデル、量子化、多彩なハードウェアバックエンドに対応。

    オープンソースApache 2.0Linux

ライブラリ

開発者がアプリ作りの土台として使うコードライブラリです。

  • Hugging Face Transformers EN

    The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.

    オープンソースApache 2.0macOS, Windows, Linux
  • MLX LM EN

    Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.

    オープンソースMITmacOS
  • Diffusers

    Hugging Face の Python ライブラリ。画像・動画・音声向け拡散モデルの実行と学習に使えます。

    オープンソースApache 2.0macOS, Windows, Linux
  • ExLlamaV3

    コンシューマー GPU 向けの CUDA 推論ライブラリ。独自の EXL3 量子化、テンソル並列、MoE モデル向けの CPU オフロードを備えます。

    オープンソースMITWindows, Linux
  • DiffSynth-Studio

    ModelScope コミュニティによるオープンソースの拡散モデルエンジン。控えめな GPU で画像・動画・音声モデルの実行と学習ができます。

    オープンソースApache 2.0

インターフェース

モデル実行ツールの上に乗るWeb・デスクトップのインターフェースです。

  • LM Studio EN

    A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.

    無料で使える(非オープンソース)Proprietary (free plan)macOS, Windows, Linux
  • Open WebUI EN

    A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.

    無料で使える(非オープンソース)Open WebUI LicensemacOS, Windows, Linux
  • ComfyUI

    オープンな画像・動画・音声・3D モデル向けのノードベーススタジオ。ビジュアルワークフローを組み立て、自分の GPU で実行できます。

    オープンソースGPL-3.0macOS, Windows, Linux
  • Jan

    ChatGPT の無料オープンソース代替となるデスクトップアプリ。オープンモデルをオフラインでダウンロード・実行でき、クラウド API にも接続できます。

    オープンソースApache 2.0macOS, Windows, Linux
  • AnythingLLM

    ドキュメントと対話し、エージェントを構築し、ローカルモデルを実行するオールインワンアプリ。デスクトップ版と多ユーザーの Docker サーバー版。

    オープンソースMITmacOS, Windows, Linux
  • InvokeAI

    AI 画像生成のためのセルフホスト型クリエイティブスタジオ。レイヤー式キャンバス、ノードベースのワークフロー、モデルマネージャーを備えます。

    オープンソースApache 2.0macOS, Windows, Linux

ファインチューニング

自分のデータにモデルを適応させるためのツールです。

  • Unsloth EN

    Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.

    オープンソースApache 2.0 and AGPL-3.0macOS, Windows, Linux
  • Axolotl

    YAML 1 枚で駆動する無料のファインチューニングフレームワーク。LoRA、QLoRA、選好チューニング、MoE 向け NVFP4・エキスパート並列に対応。

    オープンソースApache 2.0Linux
  • LLaMA-Factory EN

    Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.

    オープンソースApache 2.0Windows, Linux
  • AI Toolkit

    Ostris 製の画像・動画・音声拡散モデル向けオールインワン学習スイート。Web インターフェースとコマンドラインの両方に対応。

    オープンソースMITmacOS, Windows, Linux