跳到正文
掘金· 阿里云云原生·· 19 天前AI 评分39

切换模型会损失缓存,HiRoute 智能路由还省钱吗?

切换模型会损失缓存,智能路由还省钱吗?

AI 导读

HiRoute 智能路由在 Astra × Qwen 实验中即使 Qwen 缓存命中率为 0,混合路由仍比全用 Astra 省约 91%,若输入全部命中缓存则省约 94%。缓存损失只发生在切换后首次请求,40 次请求的编码任务中有 35 次沿用已有选择。Astra 需降价约 95% 才能与混合路由打平。

来源:掘金 · juejin.cn