Evalship 发布 LLM 评测检查工具
热点事件历史事件
Evalship 发布 LLM 评测检查工具
1 篇报道1 个报道来源11 天前更新
先了解这件事
AI 综述
Evalship 发布面向 LLM 评测的检查工具：初始化阶段由编码 agent 读取每个 scorer、judge 和提示词，查找评测本身的缺陷，官方示例称在 44 个测试用例中发现 3 处问题。 该工具随后接入 PR 流程，评测失败时评论指出可能原因并阻止合并，修复后自动放行；还提供提示词与模型优化对比，例如换用便宜 33% 的模型后通过率差距在统计噪声范围内，并每周发送一次评测报告邮件。 定价方面，免费版为 $0 并覆盖所有公开仓库，Pro 版每月 $19.60 起，前 9 个账户可享永久 60% 的发布优惠；首次审查需 10 至 45 分钟。
AI 根据报道生成 · 11 天前更新
最新进展11月4日 18:03
Evalship 上线 LLM 评测检查工具，可审查评测缺陷并拦截破坏评测的 PR报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- Hacker News · AI 讨论Evalship 上线 LLM 评测检查工具，可审查评测缺陷并拦截破坏评测的 PR
Evalship 发布面向 LLM 评测的检查工具，在初始化阶段由编码 agent 读取每个 scorer、judge 和提示词，找出评测本身的缺陷，官方示例在 44 个测试用例中发现 3 处问题。工具随后接入 PR 流程，评测失败时评论指出可能的原因并阻止合并，修复后自动放行。它还提供提示词与模型优化对比，例如换用便宜 33% 的模型后通过率差距在统计噪声范围内，并每周发送一次评测报告邮件。