跳到正文
掘金· 西安小哥·· 9 天前AI 评分66

LLM 路由落地踩到的三个坑:分类器误判、升级撕碎上下文、决策不可观测

大模型开始自己排班:LLM 路由落地时我踩到的三个坑

AI 导读

一个团队把 LLM 路由接进工单系统三个月后,总结出三个落地坑:7B 路由模型会把复杂请求静默判成简单任务,升级链路传摘要会损失上下文,缺少决策记录就无法归因成本变化。作者给出的做法是带多步推理信号的请求一律不走小模型、置信度低于阈值直接升级、升级时只传相关片段编号拼原文,并在网关侧记录请求指纹、命中模型和升级原因三类字段。

来源:掘金 · juejin.cn