Агент управления компьютером (Computer-use agent)
Агент управления компьютером смотрит на скриншоты и управляет компьютером как человек: кликает, печатает, прокручивает, а иногда запускает команды shell или код.
Вместо вызова фиксированного набора API модель получает скриншот, выбирает следующее действие, а оболочка выполняет его и возвращает новый скриншот. 4B-модель Mage-VL-Cowork от Microsoft демонстрирует один из дизайнов: она выбирает между графическими действиями и постоянным shell с Python и кликает только тогда, когда нужно что-то увидеть. Microsoft сообщает о 66,0 % на OSWorld-Verified при бюджете в 50 шагов — это её собственное измерение.
Такой агент выполняет реальные действия, поэтому запускайте его в песочнице или виртуальной машине без доступа к аккаунтам и файлам, которые вам дороги. Сама по себе модель ничего не кликает: нужны ещё оболочка и экран, которым она управляет. Оценки зависят от бюджета шагов и оболочки, поэтому сравнивайте модели только в одинаковой конфигурации.
Связанные термины
- ИИ-агент ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.
- Вызов инструментов (function calling) Вызов инструментов позволяет модели попросить вашу программу выполнить функцию, например поиск или калькулятор, и затем использовать результат в ответе.
- Визуально-языковая модель (VLM) Визуально-языковая модель читает изображения (часто и видео) вместе с текстом, поэтому можно задавать вопросы о фотографии, скриншоте или странице документа.
- Агентное программирование (Agentic coding) Агентное программирование означает, что модель работает над программным обеспечением как разработчик: читает кодовую базу, правит файлы, запускает команды и тесты и продолжает, пока задача не будет выполнена.