Tools zum Ausführen von Modellen

Modelle sind nur Dateien. Diese Programme laden sie und lassen Sie mit ihnen chatten.

Lokal ausführen

Apps und Kommandozeilen-Tools, die ein Modell herunterladen und Ihnen auf dem eigenen Rechner damit chatten lassen.

  • Ollama EN

    The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.

    Open SourceMITmacOS, Windows, Linux
  • llama.cpp

    Die C/C++-Engine hinter viel lokaler KI: führt quantisierte Modelle auf fast jeder Hardware aus, mit Kommandozeilenwerkzeug und OpenAI-kompatiblem Server.

    Open SourceMITmacOS, Windows, Linux
  • KoboldCpp

    Eine Ein-Datei-App, die GGUF-Modelle mit integriertem Web-UI ausführt und auch Bilder, Video, Sprache und Musik generiert.

    Open SourceAGPL-3.0macOS, Windows, Linux
  • MLC LLM EN

    A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.

    Open SourceApache 2.0macOS, Windows, Linux
  • whisper.cpp EN

    A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.

    Open SourceMITmacOS, Windows, Linux
  • stable-diffusion.cpp EN

    A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.

    Open SourceMITmacOS, Windows, Linux

Skalierender Betrieb

Auf Geschwindigkeit und viele gleichzeitige Nutzer ausgelegte Engines, meist auf GPU-Servern.

  • vLLM EN

    The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.

    Open SourceApache 2.0Linux
  • SGLang EN

    A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.

    Open SourceApache 2.0Linux, macOS
  • TensorRT LLM EN

    NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.

    Open SourceApache 2.0Linux
  • KTransformers

    Forschungsframework, das die Arbeit zwischen GPU und Arbeitsspeicher aufteilt, um riesige MoE-Modelle auszuführen.

    Open SourceApache 2.0Linux
  • Text Embeddings Inference EN

    Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.

    Open SourceApache 2.0macOS, Linux
  • LocalAI EN

    A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.

    Open SourceMITmacOS, Linux
  • vLLM-Omni EN

    The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.

    Open SourceApache 2.0Linux
  • LightX2V

    Leichtgewichtiges Inferenz-Framework für Bild- und Videoerzeugung, mit destillierten Modellen, Quantisierung und vielen Hardware-Backends.

    Open SourceApache 2.0Linux

Bibliotheken

Code-Bibliotheken, auf denen Entwickler aufbauen.

  • Hugging Face Transformers EN

    The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.

    Open SourceApache 2.0macOS, Windows, Linux
  • MLX LM EN

    Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.

    Open SourceMITmacOS
  • Diffusers

    Die Python-Bibliothek von Hugging Face zum Ausführen und Trainieren von Diffusionsmodellen für Bild, Video und Audio.

    Open SourceApache 2.0macOS, Windows, Linux
  • ExLlamaV3

    CUDA-Inferenzbibliothek für Consumer-GPUs mit eigener EXL3-Quantisierung, Tensor-Parallelität und CPU-Offloading für MoE-Modelle.

    Open SourceMITWindows, Linux
  • DiffSynth-Studio

    Die Open-Source-Engine der ModelScope-Community für Diffusionsmodelle: Bild, Video und Audio auf bescheidenen GPUs trainieren und ausführen.

    Open SourceApache 2.0

Oberflächen

Web- und Desktop-Oberflächen, die auf einem Modell-Runner aufsetzen.

  • LM Studio EN

    A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.

    Kostenlos nutzbar, nicht Open SourceProprietary (free plan)macOS, Windows, Linux
  • Open WebUI EN

    A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.

    Kostenlos nutzbar, nicht Open SourceOpen WebUI LicensemacOS, Windows, Linux
  • ComfyUI

    Das nodebasierte Studio für offene Bild-, Video-, Audio- und 3D-Modelle: visuelle Workflows bauen und auf der eigenen GPU ausführen.

    Open SourceGPL-3.0macOS, Windows, Linux
  • Jan

    Kostenlose Open-Source-Desktop-Alternative zu ChatGPT: lädt offene Modelle offline und führt sie aus, verbindet sich auch mit Cloud-APIs.

    Open SourceApache 2.0macOS, Windows, Linux
  • AnythingLLM

    All-in-One-App: chatten Sie mit Ihren Dokumenten, bauen Sie Agenten und führen Sie lokale Modelle aus — als Desktop-App oder Docker-Server.

    Open SourceMITmacOS, Windows, Linux
  • InvokeAI

    Ein selbst gehostetes Kreativstudio für KI-Bildgenerierung, mit Ebenen-Canvas, nodebasierten Workflows und einem Modellmanager.

    Open SourceApache 2.0macOS, Windows, Linux

Fine-Tuning

Tools zum Anpassen eines Modells an Ihre eigenen Daten.

  • Unsloth EN

    Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.

    Open SourceApache 2.0 and AGPL-3.0macOS, Windows, Linux
  • Axolotl

    Kostenloses Fine-Tuning-Framework mit einer YAML-Datei: LoRA, QLoRA, Preference Tuning, NVFP4 und Expert-Parallel für MoE-Modelle.

    Open SourceApache 2.0Linux
  • LLaMA-Factory EN

    Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.

    Open SourceApache 2.0Windows, Linux
  • AI Toolkit

    Ostris' All-in-One-Trainingssuite für Diffusionsmodelle für Bild, Video und Audio, mit Weboberfläche und Kommandozeile.

    Open SourceMITmacOS, Windows, Linux