Les outils pour faire tourner des modèles

Un modèle n’est qu’un fichier. Voici les programmes qui le chargent et vous permettent de lui parler.

Exécution en local

Applications et outils en ligne de commande qui téléchargent un modèle et vous permettent de discuter avec lui sur votre propre machine.

  • Ollama EN

    The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.

    Open sourceMITmacOS, Windows, Linux
  • llama.cpp

    Le moteur C/C++ derrière une grande partie de l'IA locale : exécute des modèles quantifiés sur presque tout matériel, avec un outil en ligne de commande et un serveur compatible OpenAI.

    Open sourceMITmacOS, Windows, Linux
  • KoboldCpp

    Une app à fichier unique qui fait tourner des modèles GGUF avec une interface web intégrée, et génère aussi images, vidéo, voix et musique.

    Open sourceAGPL-3.0macOS, Windows, Linux
  • MLC LLM EN

    A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.

    Open sourceApache 2.0macOS, Windows, Linux
  • whisper.cpp EN

    A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.

    Open sourceMITmacOS, Windows, Linux
  • stable-diffusion.cpp EN

    A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.

    Open sourceMITmacOS, Windows, Linux

Déploiement à grande échelle

Moteurs conçus pour la vitesse et un grand nombre d’utilisateurs simultanés, généralement sur des serveurs GPU.

  • vLLM EN

    The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.

    Open sourceApache 2.0Linux
  • SGLang EN

    A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.

    Open sourceApache 2.0Linux, macOS
  • TensorRT LLM EN

    NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.

    Open sourceApache 2.0Linux
  • KTransformers

    Framework de recherche qui répartit le travail entre le GPU et la mémoire vive pour faire tourner des modèles MoE géants.

    Open sourceApache 2.0Linux
  • Text Embeddings Inference EN

    Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.

    Open sourceApache 2.0macOS, Linux
  • LocalAI EN

    A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.

    Open sourceMITmacOS, Linux
  • vLLM-Omni EN

    The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.

    Open sourceApache 2.0Linux
  • LightX2V

    Framework d'inférence léger pour la génération d'images et de vidéos, avec modèles distillés, quantification et nombreux backends matériels.

    Open sourceApache 2.0Linux

Bibliothèques

Bibliothèques de code sur lesquelles les développeurs s’appuient.

  • Hugging Face Transformers EN

    The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.

    Open sourceApache 2.0macOS, Windows, Linux
  • MLX LM EN

    Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.

    Open sourceMITmacOS
  • Diffusers

    La bibliothèque Python de Hugging Face pour exécuter et entraîner des modèles de diffusion d'images, de vidéos et d'audio.

    Open sourceApache 2.0macOS, Windows, Linux
  • ExLlamaV3

    Bibliothèque d'inférence CUDA pour GPU grand public : quantification EXL3, parallélisme de tenseurs et offload CPU pour les modèles MoE.

    Open sourceMITWindows, Linux
  • DiffSynth-Studio

    Le moteur de diffusion open source du projet ModelScope pour exécuter et entraîner des modèles d'image, vidéo et audio sur des GPU modestes.

    Open sourceApache 2.0

Interfaces

Interfaces web et de bureau qui s’appuient sur un moteur d’exécution de modèles.

  • LM Studio EN

    A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.

    Utilisable gratuitement, mais pas open sourceProprietary (free plan)macOS, Windows, Linux
  • Open WebUI EN

    A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.

    Utilisable gratuitement, mais pas open sourceOpen WebUI LicensemacOS, Windows, Linux
  • ComfyUI

    Le studio à nœuds pour les modèles ouverts d'image, vidéo, audio et 3D : construisez des workflows visuels et exécutez-les sur votre GPU.

    Open sourceGPL-3.0macOS, Windows, Linux
  • Jan

    Alternative de bureau gratuite et open source à ChatGPT : télécharge et exécute des modèles ouverts hors ligne, se connecte aux APIs cloud.

    Open sourceApache 2.0macOS, Windows, Linux
  • AnythingLLM

    App tout-en-un pour discuter avec vos documents, créer des agents et exécuter des modèles locaux : bureau ou Docker multi-utilisateur.

    Open sourceMITmacOS, Windows, Linux
  • InvokeAI

    Un studio créatif auto-hébergé pour la génération d'images par IA, avec canvas à calques, workflows à nœuds et un gestionnaire de modèles.

    Open sourceApache 2.0macOS, Windows, Linux

Fine-tuning

Outils pour adapter un modèle à vos propres données.

  • Unsloth EN

    Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.

    Open sourceApache 2.0 and AGPL-3.0macOS, Windows, Linux
  • Axolotl

    Framework de fine-tuning gratuit piloté par un fichier YAML : LoRA, QLoRA, préférences, NVFP4 et expert-parallel pour les modèles MoE.

    Open sourceApache 2.0Linux
  • LLaMA-Factory EN

    Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.

    Open sourceApache 2.0Windows, Linux
  • AI Toolkit

    La suite tout-en-un d'Ostris pour les modèles de diffusion d'image, vidéo et audio, avec interface web et ligne de commande.

    Open sourceMITmacOS, Windows, Linux