掘金· 阿里云云原生·· 19 天前AI 评分39
切换模型会损失缓存,HiRoute 智能路由还省钱吗?
切换模型会损失缓存,智能路由还省钱吗?
AI 导读
HiRoute 智能路由在 Astra × Qwen 实验中即使 Qwen 缓存命中率为 0,混合路由仍比全用 Astra 省约 91%,若输入全部命中缓存则省约 94%。缓存损失只发生在切换后首次请求,40 次请求的编码任务中有 35 次沿用已有选择。Astra 需降价约 95% 才能与混合路由打平。
来源:掘金 · juejin.cn