掘金· 深蓝AI·· 12 天前精选AI 评分78
Vercel 开源 agent-desktop，用无障碍树 ref 替代截图坐标操作桌面应用
桌面 Agent 缺的不是视觉：Vercel 开源 agent-desktop，用无障碍树 ref 替代截图坐标
AI 导读
Vercel 开源 Rust 项目 agent-desktop，让 AI agent 通过 macOS Accessibility、Windows UI Automation 和 Linux AT-SPI 的无障碍树读写桌面应用。
借鉴点
能拿走的是 snapshot 拿 ref、动作认 ref 不认坐标，以及按 error.disposition.retry 决定重试或停机；可接到本地桌面自动化流水线，代价是只覆盖有无障碍语义的控件，自绘画布和游戏走不通。
来源：掘金 · juejin.cn