Agent zur Computerbedienung (Computer-use agent)
Ein Agent zur Computerbedienung sieht Screenshots an und bedient den Computer wie ein Mensch: durch Klicken, Tippen und Scrollen, manchmal auch durch Ausführen von Shell-Befehlen oder Code.
Statt eine feste Reihe von APIs aufzurufen, erhält das Modell einen Screenshot, wählt die nächste Aktion, und ein Harness führt sie aus und liefert einen neuen Screenshot zurück. Microsofts 4B-Modell Mage-VL-Cowork zeigt ein solches Design: Es wählt zwischen grafischen Aktionen und einer persistenten Shell mit Python und klickt nur, wenn es etwas sehen muss. Microsoft meldet 66,0 % auf OSWorld-Verified mit einem Budget von 50 Schritten – eine eigene Messung.
So ein Agent führt echte Aktionen aus; führen Sie ihn daher in einer Sandbox oder virtuellen Maschine ohne Zugriff auf Konten oder Dateien aus, die Ihnen wichtig sind. Das Modell allein klickt nichts an, denn Sie brauchen auch den Harness und den Bildschirm, den er steuert. Scores hängen vom Schrittbudget und vom Harness ab; vergleichen Sie Modelle daher nur bei identischem Setup.
Verwandte Begriffe
- KI-Agent Ein KI-Agent ist ein System, in dem ein Modell mehrstufige Aufgaben plant und ausführt, indem es Tools aufruft, etwa Code ausführen, das Web durchsuchen oder Dateien bearbeiten.
- Tool Calling (Function Calling) Tool Calling erlaubt einem Modell, Ihr Programm auszuführen zu bitten, etwa eine Suche oder einen Taschenrechner, und das Ergebnis in seiner Antwort zu verwenden.
- Vision-Language-Modell (VLM) Ein Vision-Language-Modell liest Bilder, und oft auch Video, zusammen mit Text, sodass Sie Fragen zu einem Foto, einem Screenshot oder einer Dokumentseite stellen können.
- Agentisches Programmieren (Agentic coding) Agentisches Programmieren bedeutet, dass ein Modell wie ein Entwickler an Software arbeitet: es liest die Codebasis, bearbeitet Dateien, führt Befehle und Tests aus und arbeitet weiter, bis die Aufgabe erledigt ist.