Agente de uso de computadora (Computer-use agent)

Un agente de uso de computadora mira capturas de pantalla y maneja la computadora como lo haría una persona: haciendo clic, escribiendo y desplazándose, y a veces ejecutando comandos de shell o código.

  • Uso de modelos
  • Actualización

En lugar de llamar a un conjunto fijo de APIs, el modelo recibe una captura de pantalla, elige la siguiente acción, y un harness la ejecuta y devuelve una nueva captura. El Mage-VL-Cowork de 4B de Microsoft muestra un diseño: elige entre acciones gráficas y un shell persistente con Python, y solo hace clic cuando necesita ver algo. Microsoft reporta un 66,0 % en OSWorld-Verified con un presupuesto de 50 pasos, una medición propia.

Un agente así toma acciones reales, así que ejecútalo en una sandbox o máquina virtual sin acceso a las cuentas o archivos que te importan. El modelo por sí solo no hace clic en nada, porque también necesitas el harness y la pantalla que controla. Las puntuaciones dependen del presupuesto de pasos y del harness, así que compara modelos solo con la misma configuración.

Términos relacionados

  • Agente de IA Un agente de IA es un sistema en el que un modelo planifica y ejecuta tareas de varios pasos llamando a herramientas, como ejecutar código, buscar en la web o editar archivos.
  • Llamada a herramientas (function calling) La llamada a herramientas permite que un modelo pida a tu programa que ejecute una función, como una búsqueda o una calculadora, y luego use el resultado en su respuesta.
  • Modelo de visión y lenguaje (VLM) Un modelo de visión y lenguaje lee imágenes, y a menudo vídeo, junto con texto, así que puedes hacer preguntas sobre una foto, una captura de pantalla o una página de documento.
  • Programación agéntica (Agentic coding) La programación agéntica significa que el modelo trabaja en el software como lo haría un desarrollador: lee el código, edita archivos, ejecuta comandos y pruebas, y sigue hasta terminar la tarea.

Todos los términos