Agent d'utilisation de l'ordinateur (Computer-use agent)
Un agent d'utilisation de l'ordinateur regarde des captures d'écran et manipule l'ordinateur comme le ferait une personne : en cliquant, tapant et défilant, et parfois en exécutant des commandes shell ou du code.
Au lieu d'appeler un ensemble fixe d'API, le modèle reçoit une capture d'écran, choisit l'action suivante, et un harness l'exécute puis renvoie une nouvelle capture. Le Mage-VL-Cowork 4B de Microsoft illustre un design : il choisit entre des actions graphiques et un shell persistant avec Python, et ne clique que lorsqu'il doit voir quelque chose. Microsoft annonce 66,0 % sur OSWorld-Verified avec un budget de 50 étapes ; il s'agit de sa propre mesure.
Un tel agent accomplit de vraies actions ; exécutez-le donc dans une sandbox ou une machine virtuelle sans accès aux comptes ni aux fichiers qui vous importent. Le modèle seul ne clique sur rien, car il vous faut aussi le harness et l'écran qu'il contrôle. Les scores dépendent du budget d'étapes et du harness ; comparez donc les modèles uniquement à configuration identique.
Termes associés
- Agent d'IA Un agent d'IA est un système dans lequel un modèle planifie et exécute des tâches en plusieurs étapes en appelant des outils, comme exécuter du code, chercher sur le web ou modifier des fichiers.
- Appel d'outils (function calling) L'appel d'outils permet à un modèle de demander à votre programme d'exécuter une fonction, comme une recherche ou une calculatrice, puis d'utiliser le résultat dans sa réponse.
- Modèle vision-langage (VLM) Un modèle vision-langage lit les images, et souvent les vidéos, en même temps que du texte ; vous pouvez donc poser des questions sur une photo, une capture d'écran ou une page de document.
- Codage agentique (Agentic coding) Le codage agentique désigne un modèle qui travaille sur un logiciel comme un développeur : il lit le code, modifie des fichiers, exécute des commandes et des tests, et continue jusqu'à ce que la tâche soit terminée.