KV 缓存全场景剖析：从单次推理到 Agent 架构的九类场景

文章按九个场景拆解 KV 缓存，指出它把每步重算前缀的 O(N²) 压成线性，但每步注意力仍需遍历全部缓存，线性项不会消失。多轮对话与 Agent 场景下前缀任一字节改动都会让改动点之后的缓存失效，文中给出一个客服 Agent 因在系统提示词加一行时间戳导致首 token 延迟从 0.5 秒涨到 3-5 秒、月度账单近乎翻倍的案例。