掘金· miofly·· 12 天前精选AI 评分74
Vercel Labs 开源 agent-desktop，用无障碍树让 AI 代理操作桌面应用
GitHub 今日推荐｜agent-desktop：通过无障碍树让 AI 代理直接操作桌面应用
AI 导读
Vercel Labs 开源 Agent Desktop，让 AI 代理通过操作系统无障碍树读取并操作桌面应用，生成 JSON 快照并给每个可操作元素分配 ref 引用标识符，操作后再快照验证结果。
借鉴点
能拿走的是 ref 加快照的桌面操作循环和骨架模式钻取稠密 UI 的做法，可接到本地模型部署与软件工厂的桌面自动化环节，代价是 macOS 要授辅助功能权限、ref 随快照过期需重拍、快照可能带私密内容。
来源：掘金 · juejin.cn