跳到正文
掘金· 狂师·· 9 天前AI 评分62

Agent 测评指标怎么选、怎么算:判定、检索、相似、行为四类框架

Agent 测评指标怎么选、怎么算?

AI 导读

这篇教程把 Agent 测评指标分成判定、检索、相似、行为四类,并给出每类的适用场景和算法。判定类从正类四格表推出准确率、精确率、召回率、F1,指出违规占比不足一成时准确率会骗人;检索类用命中率@K 和 MRR 分诊排序问题与检索问题,K 必须跟系统实际喂给模型的条数一致;相似类只做粗筛,行为类看多轮通过率、P95 时延和必须为 0 的安全违规数。

来源:掘金 · juejin.cn