컴퓨터 사용 에이전트(Computer-use agent)

컴퓨터 사용 에이전트는 스크린샷을 보고 클릭, 입력, 스크롤처럼 사람처럼 컴퓨터를 조작하고, 때로는 셸 명령이나 코드를 실행하기도 합니다.

  • 모델 활용
  • 업데이트

고정된 API 집합을 호출하는 대신, 모델은 스크린샷을 받아 다음 동작을 고르고, 하네스가 그 동작을 실행한 뒤 새 스크린샷을 돌려줍니다. Microsoft의 4B 모델 Mage-VL-Cowork는 한 가지 설계를 보여 줍니다. 그래픽 동작과 Python이 있는 영구 셸 사이에서 선택하고, 무언가를 봐야 할 때만 클릭합니다. Microsoft는 50단계 예산에서 OSWorld-Verified 66.0%를 보고했는데, 이는 자체 측정입니다.

이런 에이전트는 실제 동작을 수행하므로, 중요한 계정이나 파일에 접근할 수 없는 샌드박스나 가상 머신에서 실행하세요. 모델만으로는 아무것도 클릭하지 못하며, 하네스와 그것이 제어하는 화면도 필요합니다. 점수는 단계 예산과 하네스에 좌우되므로, 모델 비교는 동일한 환경에서만 하세요.

관련 용어

  • AI 에이전트 AI 에이전트는 모델이 도구를 호출하며 다단계 작업을 계획하고 수행하는 시스템입니다. 코드 실행, 웹 검색, 파일 편집 등이 그 예입니다.
  • 도구 호출(Function calling) 도구 호출을 사용하면 모델이 프로그램에 검색이나 계산기 같은 함수 실행을 요청하고, 그 결과를 답변에 활용할 수 있습니다.
  • 비전 언어 모델(VLM) 비전 언어 모델은 이미지(보통 영상도)와 텍스트를 함께 읽기 때문에, 사진이나 스크린샷, 문서 페이지에 대해 질문할 수 있습니다.
  • 에이전틱 코딩(Agentic coding) 에이전틱 코딩은 모델이 개발자처럼 소프트웨어를 다루는 것을 말합니다. 코드베이스를 읽고, 파일을 편집하고, 명령과 테스트를 실행하며, 작업이 끝날 때까지 진행합니다.

전체 용어