Agente de uso de computador (Computer-use agent)

Um agente de uso de computador olha capturas de tela e opera o computador como uma pessoa: clicando, digitando e rolando, e às vezes executando comandos de shell ou código.

  • Usando modelos
  • Atualizado

Em vez de chamar um conjunto fixo de APIs, o modelo recebe uma captura de tela, escolhe a próxima ação, e um harness a executa e devolve uma nova captura. O Mage-VL-Cowork de 4B da Microsoft mostra um desenho: ele escolhe entre ações gráficas e um shell persistente com Python, e só clica quando precisa ver algo. A Microsoft reporta 66,0% no OSWorld-Verified com um orçamento de 50 passos, uma medição própria.

Esse tipo de agente toma ações reais, então rode-o em uma sandbox ou máquina virtual sem acesso a contas ou arquivos que importam para você. O modelo sozinho não clica em nada, porque você também precisa do harness e da tela que ele controla. As pontuações dependem do orçamento de passos e do harness, então compare modelos apenas na mesma configuração.

Termos relacionados

  • Agente de IA Um agente de IA é um sistema em que um modelo planeja e executa tarefas de várias etapas chamando ferramentas, como rodar código, pesquisar na web ou editar arquivos.
  • Chamada de ferramentas (function calling) A chamada de ferramentas permite que um modelo peça ao seu programa para executar uma função, como uma busca ou uma calculadora, e depois use o resultado na resposta.
  • Modelo de visão e linguagem (VLM) Um modelo de visão e linguagem lê imagens, e com frequência vídeos, junto com texto, então você pode fazer perguntas sobre uma foto, uma captura de tela ou uma página de documento.
  • Programação agêntica (Agentic coding) Programação agêntica significa que o modelo trabalha no software como um desenvolvedor: lê a base de código, edita arquivos, executa comandos e testes, e continua até concluir a tarefa.

Todos os termos