Les outils pour faire tourner des modèles
Un modèle n’est qu’un fichier. Voici les programmes qui le chargent et vous permettent de lui parler.
Exécution en local
Applications et outils en ligne de commande qui téléchargent un modèle et vous permettent de discuter avec lui sur votre propre machine.
- Ollama EN
The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.
- llama.cpp
Le moteur C/C++ derrière une grande partie de l'IA locale : exécute des modèles quantifiés sur presque tout matériel, avec un outil en ligne de commande et un serveur compatible OpenAI.
- KoboldCpp
Une app à fichier unique qui fait tourner des modèles GGUF avec une interface web intégrée, et génère aussi images, vidéo, voix et musique.
- MLC LLM EN
A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.
- whisper.cpp EN
A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.
- stable-diffusion.cpp EN
A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.
Déploiement à grande échelle
Moteurs conçus pour la vitesse et un grand nombre d’utilisateurs simultanés, généralement sur des serveurs GPU.
- vLLM EN
The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.
- SGLang EN
A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.
- TensorRT LLM EN
NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.
- KTransformers
Framework de recherche qui répartit le travail entre le GPU et la mémoire vive pour faire tourner des modèles MoE géants.
- Text Embeddings Inference EN
Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.
- LocalAI EN
A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.
- vLLM-Omni EN
The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.
- LightX2V
Framework d'inférence léger pour la génération d'images et de vidéos, avec modèles distillés, quantification et nombreux backends matériels.
Bibliothèques
Bibliothèques de code sur lesquelles les développeurs s’appuient.
- Hugging Face Transformers EN
The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.
- MLX LM EN
Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.
- Diffusers
La bibliothèque Python de Hugging Face pour exécuter et entraîner des modèles de diffusion d'images, de vidéos et d'audio.
- ExLlamaV3
Bibliothèque d'inférence CUDA pour GPU grand public : quantification EXL3, parallélisme de tenseurs et offload CPU pour les modèles MoE.
- DiffSynth-Studio
Le moteur de diffusion open source du projet ModelScope pour exécuter et entraîner des modèles d'image, vidéo et audio sur des GPU modestes.
Interfaces
Interfaces web et de bureau qui s’appuient sur un moteur d’exécution de modèles.
- LM Studio EN
A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.
- Open WebUI EN
A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.
- ComfyUI
Le studio à nœuds pour les modèles ouverts d'image, vidéo, audio et 3D : construisez des workflows visuels et exécutez-les sur votre GPU.
- Jan
Alternative de bureau gratuite et open source à ChatGPT : télécharge et exécute des modèles ouverts hors ligne, se connecte aux APIs cloud.
- AnythingLLM
App tout-en-un pour discuter avec vos documents, créer des agents et exécuter des modèles locaux : bureau ou Docker multi-utilisateur.
- InvokeAI
Un studio créatif auto-hébergé pour la génération d'images par IA, avec canvas à calques, workflows à nœuds et un gestionnaire de modèles.
Fine-tuning
Outils pour adapter un modèle à vos propres données.
- Unsloth EN
Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.
- Axolotl
Framework de fine-tuning gratuit piloté par un fichier YAML : LoRA, QLoRA, préférences, NVFP4 et expert-parallel pour les modèles MoE.
- LLaMA-Factory EN
Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.
- AI Toolkit
La suite tout-en-un d'Ostris pour les modèles de diffusion d'image, vidéo et audio, avec interface web et ligne de commande.