Hacker News · AI 讨论· mehdizare·2026-10-26 00:09· 21 天前AI 评分37

研究揭示测试评分型编程智能体基准的规格与测试落差

What the Specification Did Not Say: Gaps in Test-Graded Coding-Agent Benchmarks

AI 导读

研究者提出“规格-测试落差”概念：编程智能体基准用自然语言描述任务，却用上游项目测试评分，通过测试可能需要描述中未说明的常量名、模块路径或精确消息。