Skip to content

Latest commit

 

History

History
35 lines (20 loc) · 3.23 KB

computer-use.md

File metadata and controls

35 lines (20 loc) · 3.23 KB

Windows Computer Use

Universal-Code 的 Windows 桌面版自带本地 Computer Use MCP 服务。开启任务执行后,服务自动出现在所选项目的 MCP 清单中,无需填写命令、下载另一份执行器或配置密钥。可在「连接与环境」的 MCP 设置中禁用或重新启用。

选择支持图像输入的模型,打开要操作的应用,然后向 Agent 说明任务,例如“在测试窗口输入这段文字并核对结果”。Agent 先列出窗口,再选择应用、获取截图并操作。截图使用原始像素坐标,不拉伸或缩放。

授权

模式 行为
Ask 可以仅允许当前操作,或允许当前任务继续操作这个应用。后者覆盖该应用的后续截图、点击、输入和滚动。
Auto 沿用现有权限规则;无法确定外部影响的操作仍要求确认。
Full 直接执行,同时检查任务、执行租约、目标窗口和当前权限是否有效。

应用授权绑定当前 Run、应用可执行文件身份、权限版本和 MCP 服务代次。新任务、撤销、禁用服务、权限变更或宿主重启后需要重新授权。列出窗口只提供选择目标所需的元数据,不截图。

Ask 下,Win、Alt+Tab 等已知系统快捷键单独确认,不消耗应用授权。应用授权不能覆盖这些切换桌面或其他应用的操作。任意第三方软件仍可注册自定义全局热键;此授权不是 Windows 进程隔离。

前台窗口

执行器使用 Windows 原生窗口信息、GDI 截图和 SendInput。目标必须处于前台并完整位于屏幕内;截图包含其可见区域,遮挡物也会出现在画面中。点击或滚动落点被其他窗口遮挡时会拒绝输入。

Windows 若拒绝自动切换,请手动点击目标窗口,再让 Agent 获取新截图并继续。执行器不强行绑定其他应用的输入队列。管理员窗口、锁屏和非交互桌面可能无法操作。

应用窗口身份发生变化、移动或缩放后,Agent 必须重新观察。截图令牌在 60 秒后、输入后或另一执行器操作桌面后失效。应用已关闭或输入后截图失败时,结果会保留操作是否已经发出,要求重新观察,避免自动重复输入。

支持列出窗口、观察、激活、点击、Unicode 文字输入、组合按键和滚动;不提供任意程序启动入口。共享 ApplicationFrameHost.exe 的窗口使用实际承载应用的身份;无法唯一识别时拒绝操作。服务不控制自身或祖先进程的应用窗口。

截图最大单边为 8192 像素、面积为 16 MiPixels,同时受 MCP 4 MiB 消息上限约束。超限会明确返回失败并要求缩小窗口;不会签发没有可用图像的观察令牌。大图通过已有工具产物进入模型图像通道,文本仍遵守该 MCP 服务的返回大小限制。

开发与验收

实现与专用测试窗口位于 internal/computeruse,操作顺序和显式启用的真实桌面验收命令见该目录的 README。普通测试不会截取或操作用户桌面。

桌面版自动注册服务;普通 CLI 不自动注册,但支持同一保留 stdio 入口,便于协议和打包验证。当前原生执行器只支持 Windows。