核心功能
电脑操作
在 macOS 上授权千问办公感知界面并执行点击、输入和跨应用步骤。
电脑操作(Computer Use)让千问办公读取可见界面,并通过鼠标、键盘和快捷键操作没有合适 API 的桌面应用。它适合跨应用整理信息、调整系统设置或完成必须经过图形界面的步骤。
网站任务优先使用浏览器连接器
浏览器连接器通常比通用界面操作更快、更准确。只有目标应用没有合适接口,或任务必须在桌面 GUI 中完成时,再使用电脑操作。
系统与权限要求
- macOS 14 或更高版本;
- 在“扩展 → 连接器”中开启当前界面提供的计算机控制入口;
- 辅助功能权限,用于读取界面结构并执行点击、输入;
- 屏幕录制权限,用于理解当前窗口和操作结果。
确认策略
| 策略 | 行为 | 建议 |
|---|---|---|
| 每次询问 | 每次需要操控桌面时先征求确认 | 默认选择,适合绝大多数任务 |
| 自动执行 | 无需逐次确认即可继续操作 | 只用于低风险、已反复验证的流程 |
| 禁用 | 完全关闭电脑操作 | 不再使用或设备包含敏感工作时选择 |
授权访问等同于授权操控
AI 可能以当前登录身份发送邮件、提交表单、修改数据或删除文件。支付、发布、删除、覆盖、权限变更和批量写入不得使用无人值守的自动执行策略。
典型操作过程
执行时通常会显示当前截图、准备执行的动作和操作后的确认结果。电脑操作期间避免同时操纵被 AI 控制的窗口,以免用户动作和 AI 动作相互冲突。
适合的场景
- 从没有导出功能的应用中提取少量数据;
- 在多个桌面应用之间复制、整理和核对信息;
- 调整明确、可回滚的系统或应用设置;
- 验证 GUI 变更或复现只在界面中出现的问题;
- 将已跑通的低风险界面步骤沉淀为 Skill。
使用限制
- CAPTCHA、短信验证码、人脸识别和二步验证需要用户完成;
- 图形界面复杂或元素密集时,点击可能不够准确;
- 截图和界面分析通常比文本或专用连接器更慢;
- 界面更新、弹窗、权限变化和登录过期会中断原流程;
- 删除文件、发送消息和提交表单等操作可能无法撤销。
上线前检查
- 明确目标应用、入口和停止条件;
- 关闭包含密码或无关敏感数据的窗口;
- 先用测试账号和小样本运行;
- 对每个写入、发送或删除动作设置确认点;
- 保存操作前状态和回退方法;
- 结束后检查生成内容、外部影响和系统授权。
内部核验记录:QW-LEARN-20260726“电脑操作”,核验日期:2026-07-26。