跳到正文
掘金· 用户53941872907·· 16 天前精选AI 评分71

给强弱模型路由加可观测层:记录每趟路由并算出命中率、升级率和白升级率

强弱模型路由跑起来就成了黑盒?我给每趟路由记了笔账,命中率、白升级一目了然,分级表越调越准

AI 导读

作者在已搭好的强弱模型路由上补了一层可观测,用 dataclass 给每趟路由记录档位、任务类型、失败原因和耗时,再用标准库聚合出便宜档命中率、分类型升级率和白升级率。文章给出记账织入路由的代码和一张信号到调整动作的对照表,例如某类任务升级率持续偏高就直接提到旗舰档,失败原因集中在一条就改提示词或补示例。白升级需靠旗舰抽检部分样本判定,作者提醒样本太少或任务类型切太细都会让数据失去意义。

借鉴点

能拿走 RouteRecord 字段设计、run_with_escalation_observed 记账织入和 summarize 聚合函数,把强弱模型路由从黑盒变成可调的分级表;代价是白升级要靠旗舰抽检判定,样本不足时算出的升级率不可信。

来源:掘金 · juejin.cn