掘金· lucas_AI·· 16 天前精选AI 评分78
GUI-JEPA 用隐空间打分替代解码，0.5B 参数一步 51 毫秒
别让大模型一个字一个字点手机了：GUI-JEPA 用「打分」替代「解码」，快 3 倍只花 6% 参数
AI 导读
上海交大、南洋理工和阿里巴巴团队提出 GUI-JEPA，用 JEPA 隐空间对候选控件打分替代逐 token 解码，在 AndroidControl 上以 0.5B 参数保留 Qwen2.5-VL-7B 微调模型 86-92% 的步级精度。
借鉴点
可借鉴候选打分替代逐 token 解码的做法，把截图编码一次、对 a11y 树候选批量打分，落到端侧智能体和手机自动化线；前提是能拿到无障碍树，且只验证了步级准确率、没有在线任务完成率。
来源：掘金 · juejin.cn