掘金· 刘胡子大叔·· 13 天前精选AI 评分71
LLM 当裁判可靠吗：规则满分盲区、抽检配比与位置/长度/自我偏好三大偏差
LLM 当裁判可靠吗：位置偏见、长度偏见、自我偏好
AI 导读
作者复盘自己跑的规则先行、LLM 兜底的评测流程，5 条样本里 3 条规则满分被直接放行，其中一条实际答非所问，说明规则只能验证动作做了没有、验证不了问题有没有解决。
借鉴点
能拿走 only_on_rule_fail 的抽检配比改法，规则满分样本抽 5%、失败样本全审，成本只涨 7.5%；落到 Agent 评测线上，前提是接受裁判分数只做同裁判同批次的相对比较。
来源：掘金 · juejin.cn