掘金· flash俊杰·· 11 天前精选AI 评分70
桌面 AI 助手为何在截图之外再加一份 UIA 控件清单
屏幕感知双通道：截图之外，为什么还要一份 UIA 控件清单
AI 导读
作者为桌面 AI 助手做屏幕感知时采用截图加 UIA 控件清单的双通道方案，纯视觉定位 5 步复合任务成功率约 40%，加入控件清单后可从结构化数据中挑选目标。
借鉴点
可拿走截图加 UIA 控件清单的双通道感知、1568px 缩放上限和 30 行 PowerShell 取控件树的做法，落到桌面 Agent 的定位环节；代价是纯视觉 5 步任务成功率仅约 40%，且 UIA 只覆盖 Windows 标准应用。
来源：掘金 · juejin.cn