掘金· 西安小哥·· 9 天前AI 评分66
LLM 路由落地踩到的三个坑:分类器误判、升级撕碎上下文、决策不可观测
大模型开始自己排班:LLM 路由落地时我踩到的三个坑
AI 导读
一个团队把 LLM 路由接进工单系统三个月后,总结出三个落地坑:7B 路由模型会把复杂请求静默判成简单任务,升级链路传摘要会损失上下文,缺少决策记录就无法归因成本变化。作者给出的做法是带多步推理信号的请求一律不走小模型、置信度低于阈值直接升级、升级时只传相关片段编号拼原文,并在网关侧记录请求指纹、命中模型和升级原因三类字段。
来源:掘金 · juejin.cn