跳到正文
Hacker News · AI 讨论· ankitg12·· 17 天前精选AI 评分71

mustfail 发布 0.1.0,用回滚源码验证 agent 测试是否真能失败

Agent's tests passed. Prove they could have failed

AI 导读

Greenlit Books 发布开源工具 mustfail 0.1.0,把编码 agent 改过的源文件回滚到基线、保留它新写的测试再跑一遍,仍然通过的检查被判为没有测到实际改动。

借鉴点

把改动源码回滚、保留 agent 新写的测试再跑一遍,用负向对照判断测试是否真能失败;代价是跑两遍测试套件,纯重构会被误判为未覆盖。

来源:Hacker News · AI 讨论 · github.com