MarkTechPost· Asif Razzaq·· 20 天前精选AI 评分78
清华与港中文开源 AKV，在 SGLang 上为 LLM 智能体做 KV cache 工程
Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang
AI 导读
清华大学与香港中文大学研究者开源 AKV，一个基于 SGLang 的 KV cache 工程服务系统，让智能体直接丢弃选定的 KV 条目并复用其余部分，而不改写历史文本。
借鉴点
能拿走的是 drop/repos 两种 KV 操作加 OpenAI 兼容的无状态接口，把工具调用历史直接丢缓存而不重写文本，落到本地模型部署和 Agent 长任务线上；代价是只支持 Qwen、GPT-OSS、MiniMax-M2 文本模型，且需 SGLang 与 NVIDIA GPU。
来源：MarkTechPost · marktechpost.com