掘金· 阿里云云原生·· 26 天前精选AI 评分78
阿里云云原生团队详解 HiRoute 如何用 Jev 做模型智能路由
HiRoute:Jev 模型智能路由实践
AI 导读
阿里云云原生团队介绍开源本机路由引擎 HiRoute 如何用百炼 System One 的 Jev 决策模型判断任务类别、复杂度和上一阶段完成质量,再决定交给经济模型还是主力模型。
借鉴点
能拿走一套可复用的路由决策请求结构,把分类、复杂度、阶段胜任度拆成独立问题一次调用,落到本地模型部署和软件工厂的模型选型上;代价是要自己写评分标准和阈值,历史裁剪与证据完整性得单独处理。
来源:掘金 · juejin.cn