Tool Calling (Function Calling)

Tool Calling erlaubt einem Modell, Ihr Programm auszuführen zu bitten, etwa eine Suche oder einen Taschenrechner, und das Ergebnis in seiner Antwort zu verwenden.

  • Modelle verwenden
  • Aktualisiert

Ein Modell kann nicht selbst im Web surfen oder Code ausführen. Beim Tool Calling beschreiben Sie ihm die verfügbaren Funktionen, und wenn eine davon helfen würde, antwortet das Modell mit einer strukturierten Anfrage, meist JSON, die die Funktion und ihre Argumente benennt. Ihr Programm führt die Funktion aus, gibt das Ergebnis zurück und das Modell macht weiter. Das ist der Grundbaustein von KI-Agenten.

Die Unterstützung ist eine Eigenschaft von Modell und Server gleichermaßen: Das Modell muss für das Format trainiert sein, und ein Inferenzserver wie vLLM oder SGLang braucht den passenden Parser aktiviert. Offene Modelle unterscheiden stark darin, wie zuverlässig sie Tools aufrufen – testen Sie also mit Ihren eigenen Tools und behalten Sie eine menschliche Prüfung für jede Aktion bei, die sich nicht rückgängig machen lässt.

Verwandte Begriffe

  • KI-Agent Ein KI-Agent ist ein System, in dem ein Modell mehrstufige Aufgaben plant und ausführt, indem es Tools aufruft, etwa Code ausführen, das Web durchsuchen oder Dateien bearbeiten.
  • OpenAI-kompatible API Eine OpenAI-kompatible API ist ein Server, der dieselben Anfragen wie die OpenAI-API akzeptiert, sodass Apps, die dafür geschrieben wurden, stattdessen ein offenes Modell nutzen können.
  • Reasoning-Modell Ein Reasoning-Modell arbeitet ein Problem Schritt für Schritt in einer sichtbaren oder verborgenen „Denk“-Phase durch, bevor es seine endgültige Antwort gibt.

Alle Begriffe