掘金· hishhish·· 13 天前AI 评分58
3GPP 问答 Agent 评测复盘:20 题全对背后的判分误判与指标陷阱
Agent 100% 答对,但真的准吗?
AI 导读
作者在开发 3GPP 规范问答 Agent 时构建 20 题评测集,发现首轮 17/20 中有 2 道是判分关键词过严导致的误判,模型答案内容其实正确。修正关键词后达到 20/20,但作者指出这是对着答案改判分标准的测试集过拟合,且满分后出现天花板效应,于是改用条款引用率作为新指标,加一条 system 提示词要求输出 §4.7.1 格式后文档题引用率从 0/6 升到 6/6。
来源:掘金 · juejin.cn