Hacker News · AI 讨论· wslh·· 15 天前AI 评分26
Gandalf：为 LLM KV Cache 卸载延长 SSD 寿命
Gandalf: Extending SSD Lifespan for LLM KV Cache Offloading
AI 导读
Gandalf 是首个具备 SSD 寿命感知的 KV cache 卸载系统，通过优先将 full-attention 的 KV cache 写入 SSD，平均将 SSD 寿命延长 7.3 倍，且对缓存命中率影响可忽略。
来源：Hacker News · AI 讨论 · arxiv.org