跳到正文
Hacker News · AI 讨论· gghootch·· 11 天前AI 评分58

Evalship 上线 LLM 评测检查工具,可审查评测缺陷并拦截破坏评测的 PR

Show HN: Evalship – find the flaws in your LLM evals

AI 导读

Evalship 发布面向 LLM 评测的检查工具,在初始化阶段由编码 agent 读取每个 scorer、judge 和提示词,找出评测本身的缺陷,官方示例在 44 个测试用例中发现 3 处问题。工具随后接入 PR 流程,评测失败时评论指出可能的原因并阻止合并,修复后自动放行。它还提供提示词与模型优化对比,例如换用便宜 33% 的模型后通过率差距在统计噪声范围内,并每周发送一次评测报告邮件。

来源:Hacker News · AI 讨论 · evalship.com