跳到正文
热点事件历史事件

Agent 测评指标分四类:选法与算法教程

1 篇报道1 个报道来源9 天前更新

先了解这件事

AI 综述

一篇教程把 Agent 测评指标分成判定、检索、相似、行为四类,并给出每类的适用场景和算法。判定类从正类四格表推出准确率、精确率、召回率、F1,并指出违规占比不足一成时准确率会骗人;检索类用命中率@K 和 MRR 区分排序问题与检索问题,K 必须跟系统实际喂给模型的条数一致;相似类只做粗筛;行为类看多轮通过率、P95 时延和必须为 0 的安全违规数。

AI 根据报道生成 · 9 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. 掘金
    Agent 测评指标怎么选、怎么算:判定、检索、相似、行为四类框架

    这篇教程把 Agent 测评指标分成判定、检索、相似、行为四类,并给出每类的适用场景和算法。判定类从正类四格表推出准确率、精确率、召回率、F1,指出违规占比不足一成时准确率会骗人;检索类用命中率@K 和 MRR 分诊排序问题与检索问题,K 必须跟系统实际喂给模型的条数一致;相似类只做粗筛,行为类看多轮通过率、P95 时延和必须为 0 的安全违规数。