Hacker News · AI 讨论· hemanth2k·2026-10-27 08:46· 19 天前精选AI 评分78

Mistrial 发布 LLM judge 可靠性检测工具，重跑评测暴露判定翻转

Mistrial – Re run your LLM judge and see how often it flips

AI 导读

Mistrial 是一个可对现有 LLM judge 重复采样并输出可靠性卡片的命令行工具，报告自一致率、翻转用例、judge 间 Cohen's kappa 与 Krippendorff's alpha，以及与人标的准确率。

借鉴点

能拿它把现有 LLM judge 重跑多轮，量出自一致率、翻转用例和 kappa，再按 gate-risk 反推 CI 通过线；代价是要多花调用费，且 kappa 在几十条用例上不构成证据。