user3ff3c268-windows-screen-coordinate

当 Agent 需要在 Windows 桌面上获取点击坐标时，可使用本技能——将“截图猜位置”升级为“一次取准坐标”，省去每一步重复的视觉定位开销。典型触发场景包括：(1) 任务涉及高频或重复的界面操作（如批量按钮点击、页面跳转、表单填写、流程回放），从一开始就采用本技能获取坐标，远比每一步都重新执行“截图→识别→换算→验证”更高效、更节省 token；(2) 上一次点击位置偏移，或用户反馈“你点错位置了”；(3) 目标程序不支持 UI Automation（如游戏、自绘界面、远程桌面、浏览器画布等图像化内容）；(4) 在多显示器或高 DPI 环境下坐标始终对不准；(5) 为自动化脚本确定可复用的坐标常量或控件矩形——解决 pyautogui、AutoHotkey（AHK）、PowerShell、RPA 流程中“点这里到底是第几个像素”的问题；(6) 用户说“点这里”“点这个按钮”但未提供坐标，需将自然语言指代转化为精确位置。 本技能提供三种互补方式获取坐标： - UI Automation 控件树自动定位（无需人工干预）； - 截屏叠加坐标标尺（由模型读取刻度并换算）； - 穿透式取景遮罩，由用户直接点选目标位置。 最终结果统一以 JSON 格式返回，可直接交由鼠标执行脚本使用。

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本

相关资产