跳到正文
掘金· 绝望的蛋炒饭·· 23 天前精选AI 评分71

长会话模型选型实测:缓存命中率如何决定真实成本

长会话的模型选型:缓存命中率如何决定真实成本

AI 导读

作者在Agent长会话场景把默认模型换成输入便宜25%、输出便宜35%的flash版本,同一批4.94亿token的账单反而达到谷时方案的2.15倍。原因是缓存命中token占用量91.4%、费用73.6%,而该模型缓存单价贵10.7倍,按公式算出的临界缓存命中率为73.6%,实测91.4%已越过临界点。

借鉴点

给出缓存命中率与三档单价的成本公式和73.6%临界点算法,能落到本地模型部署与Agent长会话的成本核算,前提是拿到真实账单明细并补齐本地定价表。

来源:掘金 · juejin.cn