コンピュータ操作エージェント(Computer-use agent)

コンピュータ操作エージェントはスクリーンショットを見て、クリック、入力、スクロールといった人のようにコンピュータを操作し、場合によってはシェルコマンドやコードも実行します。

  • モデルの使い方
  • 更新日

固定の API セットを呼び出す代わりに、モデルはスクリーンショットを受け取り、次のアクションを選び、ハーネスがそれを実行して新しいスクリーンショットを返します。Microsoft の 4B モデル Mage-VL-Cowork は一つの設計を示しています。グラフィカルな操作と Python を備えた永続シェルのどちらを使うかを選び、何かを見る必要があるときだけクリックします。Microsoft は 50 ステップの予算で OSWorld-Verified 66.0% を報告していますが、これは Microsoft 自身の測定です。

この種のエージェントは実際の操作を行うので、大事なアカウントやファイルにアクセスできないサンドボックスや仮想マシンで実行してください。モデルだけでは何もクリックできず、ハーネスとその制御対象の画面も必要です。スコアはステップ予算とハーネスに依存するため、モデルを比較するのは同じ環境でのみにしてください。

関連用語

  • AI エージェント AI エージェントとは、モデルがツールを呼び出して多段階のタスクを計画・実行するシステムです。コードの実行、ウェブ検索、ファイル編集などを行います。
  • ツール呼び出し(Function calling) ツール呼び出しを使うと、モデルがプログラムに検索や計算機などの関数の実行を依頼し、その結果を回答に活用できます。
  • 視覚言語モデル(VLM) 視覚言語モデルは画像(多くの場合動画も)とテキストを一緒に読めるため、写真、スクリーンショット、文書ページについて質問できます。
  • エージェンティックコーディング(Agentic coding) エージェンティックコーディングとは、モデルが開発者のようにソフトウェアに取り組むことです。コードベースを読み、ファイルを編集し、コマンドやテストを実行し、タスクが完了するまで作業を続けます。

すべての用語