千问办公小绿书
核心功能

电脑操作

在 macOS 上授权千问办公感知界面并执行点击、输入和跨应用步骤。

独立非官方实践手册更新于 编辑:千问办公小绿书编辑组

电脑操作(Computer Use)让千问办公读取可见界面,并通过鼠标、键盘和快捷键操作没有合适 API 的桌面应用。它适合跨应用整理信息、调整系统设置或完成必须经过图形界面的步骤。

网站任务优先使用浏览器连接器

浏览器连接器通常比通用界面操作更快、更准确。只有目标应用没有合适接口,或任务必须在桌面 GUI 中完成时,再使用电脑操作。

系统与权限要求

  • macOS 14 或更高版本;
  • 在“扩展 → 连接器”中开启当前界面提供的计算机控制入口;
  • 辅助功能权限,用于读取界面结构并执行点击、输入;
  • 屏幕录制权限,用于理解当前窗口和操作结果。

确认策略

策略行为建议
每次询问每次需要操控桌面时先征求确认默认选择,适合绝大多数任务
自动执行无需逐次确认即可继续操作只用于低风险、已反复验证的流程
禁用完全关闭电脑操作不再使用或设备包含敏感工作时选择

授权访问等同于授权操控

AI 可能以当前登录身份发送邮件、提交表单、修改数据或删除文件。支付、发布、删除、覆盖、权限变更和批量写入不得使用无人值守的自动执行策略。

典型操作过程

执行时通常会显示当前截图、准备执行的动作和操作后的确认结果。电脑操作期间避免同时操纵被 AI 控制的窗口,以免用户动作和 AI 动作相互冲突。

适合的场景

  • 从没有导出功能的应用中提取少量数据;
  • 在多个桌面应用之间复制、整理和核对信息;
  • 调整明确、可回滚的系统或应用设置;
  • 验证 GUI 变更或复现只在界面中出现的问题;
  • 将已跑通的低风险界面步骤沉淀为 Skill。

使用限制

  • CAPTCHA、短信验证码、人脸识别和二步验证需要用户完成;
  • 图形界面复杂或元素密集时,点击可能不够准确;
  • 截图和界面分析通常比文本或专用连接器更慢;
  • 界面更新、弹窗、权限变化和登录过期会中断原流程;
  • 删除文件、发送消息和提交表单等操作可能无法撤销。

上线前检查

  1. 明确目标应用、入口和停止条件;
  2. 关闭包含密码或无关敏感数据的窗口;
  3. 先用测试账号和小样本运行;
  4. 对每个写入、发送或删除动作设置确认点;
  5. 保存操作前状态和回退方法;
  6. 结束后检查生成内容、外部影响和系统授权。

内部核验记录:QW-LEARN-20260726“电脑操作”,核验日期:2026-07-26。

相关指南