计算机使用智能体

计算机使用智能体会查看屏幕截图,像人一样操作电脑:点击、输入、滚动,有时还会运行 shell 命令或代码。

  • 使用模型
  • 更新于

它不是调用一组固定的 API,而是接收一张截图,选择下一步动作,由外围程序执行后再返回新的截图。微软的 4B 模型 Mage-VL-Cowork 展示了一种设计:它在图形操作与带 Python 的持久 shell 之间做选择,只有需要看东西时才去点击。微软报告它在 50 步预算下的 OSWorld-Verified 得分为 66.0%,这是微软自己的测量。

这样的智能体会执行真实的操作,所以请在沙箱或虚拟机里运行,不要让它接触你在意的账号或文件。只有模型是点不了任何东西的,你还需要外围程序和它所控制的屏幕。得分取决于步数预算和外围程序,所以只能在相同的设置下比较不同的模型。

相关术语

  • AI 智能体 AI 智能体是指由模型规划并完成多步任务的系统,它通过调用工具来行动,例如运行代码、搜索网页或编辑文件。
  • 工具调用(Function calling) 工具调用让模型请求你的程序运行某个函数,例如搜索或计算器,然后在回答中使用函数返回的结果。
  • 视觉语言模型(VLM) 视觉语言模型能同时读取图像(通常还有视频)和文本,所以你可以针对一张图片、一张截图或一页文档提问。
  • 智能体编程(Agentic coding) 智能体编程指模型像开发者一样处理软件:阅读代码库、编辑文件、运行命令和测试,并一直做到任务完成。

继续阅读

全部术语