Self-Hosting

Self-Hosting bedeutet, ein Modell auf Hardware auszuführen, die Sie selbst kontrollieren – etwa Ihrem eigenen PC oder einem gemieteten GPU-Server – statt die API eines Anbieters aufzurufen.

  • Modelle verwenden
  • Aktualisiert

Offene Gewichte machen Self-Hosting möglich: Sie laden das Modell herunter und betreiben es selbst, mit einem Tool wie Ollama oder llama.cpp auf einem einzelnen Rechner oder mit vLLM oder SGLang auf einem Server. Sie entscheiden, wohin die Daten gehen, und können das Modell per Fine-Tuning anpassen, und Sie zahlen für Hardware statt für Token-Gebühren.

Es ist nicht immer günstiger oder einfacher. Sie zahlen für GPUs, ob sie ausgelastet sind oder nicht, Sie kümmern sich selbst um Updates und Skalierung, und die größten Modelle brauchen viele GPUs. Viele offene Modelle lassen sich auch über gehostete APIs nutzen, und einige Lizenzen beschränken den Verkauf gehosteter Zugänge – prüfen Sie also die Lizenz, wenn Sie ein Modell als Dienst anbieten möchten.

Verwandte Begriffe

  • Inferenz Inferenz bedeutet, ein trainiertes Modell auszuführen, um eine Ausgabe zu erhalten, etwa einen Prompt zu beantworten, im Gegensatz zum Training des Modells.
  • OpenAI-kompatible API Eine OpenAI-kompatible API ist ein Server, der dieselben Anfragen wie die OpenAI-API akzeptiert, sodass Apps, die dafür geschrieben wurden, stattdessen ein offenes Modell nutzen können.
  • VRAM VRAM ist der Speicher auf einer Grafikkarte; er entscheidet, welche Modelle eine GPU fassen kann, denn die Gewichte müssen in den Speicher passen, damit das Modell schnell läuft.
  • Offene Gewichte (Open Weights) Ein Modell mit offenen Gewichten ist ein KI-Modell, dessen trainierte Parameter, die Gewichte, veröffentlicht sind, sodass jeder es herunterladen und ausführen kann, meist unter einer Lizenz, die die Nutzungsbedingungen festlegt.

Alle Begriffe