掘金· 绝望的蛋炒饭·· 23 天前精选AI 评分71
长会话模型选型实测:缓存命中率如何决定真实成本
长会话的模型选型:缓存命中率如何决定真实成本
AI 导读
作者在Agent长会话场景把默认模型换成输入便宜25%、输出便宜35%的flash版本,同一批4.94亿token的账单反而达到谷时方案的2.15倍。原因是缓存命中token占用量91.4%、费用73.6%,而该模型缓存单价贵10.7倍,按公式算出的临界缓存命中率为73.6%,实测91.4%已越过临界点。
借鉴点
给出缓存命中率与三档单价的成本公式和73.6%临界点算法,能落到本地模型部署与Agent长会话的成本核算,前提是拿到真实账单明细并补齐本地定价表。
来源:掘金 · juejin.cn