掘金· Tokenfree·· 10 天前精选AI 评分75
合同摘要服务换模型灰度实践：10%→50%→100% 三档只看三个指标
换模型也要灰度：10% → 50% → 100%，每一档只看三个指标
AI 导读
Tokenfree 团队把合同摘要服务主模型从 M1 换到 M2，按 10%、50%、100% 三档灰度九天，每档只盯人工抽检通过率、首字 p95、下游解析失败率三个指标。
借鉴点
按请求 ID 哈希分流加环境变量控制灰度比例，每档只盯抽检通过率、首字 p95、下游解析失败率三个指标，能直接套到换模型或换提示词的发布流程；前提是两模型走同一套兼容接口，代价是约 1.5 人天盯盘。
来源：掘金 · juejin.cn