Tools zum Ausführen von Modellen
Modelle sind nur Dateien. Diese Programme laden sie und lassen Sie mit ihnen chatten.
Lokal ausführen
Apps und Kommandozeilen-Tools, die ein Modell herunterladen und Ihnen auf dem eigenen Rechner damit chatten lassen.
- Ollama EN
The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.
- llama.cpp
Die C/C++-Engine hinter viel lokaler KI: führt quantisierte Modelle auf fast jeder Hardware aus, mit Kommandozeilenwerkzeug und OpenAI-kompatiblem Server.
- KoboldCpp
Eine Ein-Datei-App, die GGUF-Modelle mit integriertem Web-UI ausführt und auch Bilder, Video, Sprache und Musik generiert.
- MLC LLM EN
A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.
- whisper.cpp EN
A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.
- stable-diffusion.cpp EN
A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.
Skalierender Betrieb
Auf Geschwindigkeit und viele gleichzeitige Nutzer ausgelegte Engines, meist auf GPU-Servern.
- vLLM EN
The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.
- SGLang EN
A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.
- TensorRT LLM EN
NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.
- KTransformers
Forschungsframework, das die Arbeit zwischen GPU und Arbeitsspeicher aufteilt, um riesige MoE-Modelle auszuführen.
- Text Embeddings Inference EN
Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.
- LocalAI EN
A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.
- vLLM-Omni EN
The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.
- LightX2V
Leichtgewichtiges Inferenz-Framework für Bild- und Videoerzeugung, mit destillierten Modellen, Quantisierung und vielen Hardware-Backends.
Bibliotheken
Code-Bibliotheken, auf denen Entwickler aufbauen.
- Hugging Face Transformers EN
The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.
- MLX LM EN
Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.
- Diffusers
Die Python-Bibliothek von Hugging Face zum Ausführen und Trainieren von Diffusionsmodellen für Bild, Video und Audio.
- ExLlamaV3
CUDA-Inferenzbibliothek für Consumer-GPUs mit eigener EXL3-Quantisierung, Tensor-Parallelität und CPU-Offloading für MoE-Modelle.
- DiffSynth-Studio
Die Open-Source-Engine der ModelScope-Community für Diffusionsmodelle: Bild, Video und Audio auf bescheidenen GPUs trainieren und ausführen.
Oberflächen
Web- und Desktop-Oberflächen, die auf einem Modell-Runner aufsetzen.
- LM Studio EN
A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.
- Open WebUI EN
A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.
- ComfyUI
Das nodebasierte Studio für offene Bild-, Video-, Audio- und 3D-Modelle: visuelle Workflows bauen und auf der eigenen GPU ausführen.
- Jan
Kostenlose Open-Source-Desktop-Alternative zu ChatGPT: lädt offene Modelle offline und führt sie aus, verbindet sich auch mit Cloud-APIs.
- AnythingLLM
All-in-One-App: chatten Sie mit Ihren Dokumenten, bauen Sie Agenten und führen Sie lokale Modelle aus — als Desktop-App oder Docker-Server.
- InvokeAI
Ein selbst gehostetes Kreativstudio für KI-Bildgenerierung, mit Ebenen-Canvas, nodebasierten Workflows und einem Modellmanager.
Fine-Tuning
Tools zum Anpassen eines Modells an Ihre eigenen Daten.
- Unsloth EN
Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.
- Axolotl
Kostenloses Fine-Tuning-Framework mit einer YAML-Datei: LoRA, QLoRA, Preference Tuning, NVFP4 und Expert-Parallel für MoE-Modelle.
- LLaMA-Factory EN
Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.
- AI Toolkit
Ostris' All-in-One-Trainingssuite für Diffusionsmodelle für Bild, Video und Audio, mit Weboberfläche und Kommandozeile.