跳到正文
掘金· 愤怒的代码·· 16 天前AI 评分38

什么是 Paged Attention?一文讲清 KV Cache 显存浪费与分页方案

什么是Paged Attention?

AI 导读

Paged Attention 把 KV Cache 的显存切成固定大小的块,按需分配、块间不必连续,并用块表记录每个块的实际位置,从而减少按最大长度预留造成的内部浪费和零散缝隙用不上的外部浪费。

来源:掘金 · juejin.cn