Hacker News · AI 讨论· bleonard·· 23 天前AI 评分58
Induction AI 用带 trial id 的假工具隔离 LLM 缓存,让 Agent 基准测试成本不被前序 trial 拉低
The one time we break the LLM cache on purpose
AI 导读
Induction AI 在跑 Agent 基准测试时发现,多个 trial 共享 prompt 缓存会让后续 trial 成本偏低、扭曲成本测量,于是给每个 trial 注入一个名字带 trial id 的假工具,使各 trial 首 token 前缀互不匹配,而同一 trial 内的多轮仍正常命中缓存。
来源:Hacker News · AI 讨论 · induction.ai