Hacker News · AI 讨论· gbaygon·· 15 天前精选AI 评分78
Werk 用一个菜谱 Agent 演示四步提示词缓存改造,账单降到约四分之一
Prompt caching: same agent, same rules, about a quarter of the bill
AI 导读
Werk 用一个菜谱 Agent 演示四步提示词缓存改造,同一模型同一套规则下提示词成本降低 73%,整场测试花费不到一美分。四步分别是把每分钟变化的日期移到用户消息末尾、把个人资料移出共享指令、让所有套餐发送同一份工具列表、工具调用只追加不重建请求。
借鉴点
四个改法可直接照搬:把日期和用户资料挪到末尾、各套餐共用同一份工具列表、工具调用只追加不重建、再用不调模型的断言测试锁住前缀。代价是要改 harness 的拼装逻辑,且缓存过期时首条消息仍读不到。
来源:Hacker News · AI 讨论 · blog.getwerk.ai