读懂大模型的“记忆”：KV Cache 到底是什么？

KV Cache 的核心是让每个 token 的 K、V 只计算一次并存入内存反复复用，从而把自回归生成的计算量从 O(n²) 降到 O(n)。以生成 100 个 token 为例，无缓存需 5050 次 K、V 投影计算，有缓存仅需 100 次，约 50 倍差距。