Agente de uso de computadora (Computer-use agent)
Un agente de uso de computadora mira capturas de pantalla y maneja la computadora como lo haría una persona: haciendo clic, escribiendo y desplazándose, y a veces ejecutando comandos de shell o código.
En lugar de llamar a un conjunto fijo de APIs, el modelo recibe una captura de pantalla, elige la siguiente acción, y un harness la ejecuta y devuelve una nueva captura. El Mage-VL-Cowork de 4B de Microsoft muestra un diseño: elige entre acciones gráficas y un shell persistente con Python, y solo hace clic cuando necesita ver algo. Microsoft reporta un 66,0 % en OSWorld-Verified con un presupuesto de 50 pasos, una medición propia.
Un agente así toma acciones reales, así que ejecútalo en una sandbox o máquina virtual sin acceso a las cuentas o archivos que te importan. El modelo por sí solo no hace clic en nada, porque también necesitas el harness y la pantalla que controla. Las puntuaciones dependen del presupuesto de pasos y del harness, así que compara modelos solo con la misma configuración.
Términos relacionados
- Agente de IA Un agente de IA es un sistema en el que un modelo planifica y ejecuta tareas de varios pasos llamando a herramientas, como ejecutar código, buscar en la web o editar archivos.
- Llamada a herramientas (function calling) La llamada a herramientas permite que un modelo pida a tu programa que ejecute una función, como una búsqueda o una calculadora, y luego use el resultado en su respuesta.
- Modelo de visión y lenguaje (VLM) Un modelo de visión y lenguaje lee imágenes, y a menudo vídeo, junto con texto, así que puedes hacer preguntas sobre una foto, una captura de pantalla o una página de documento.
- Programación agéntica (Agentic coding) La programación agéntica significa que el modelo trabaja en el software como lo haría un desarrollador: lee el código, edita archivos, ejecuta comandos y pruebas, y sigue hasta terminar la tarea.