量子位· 一水·2026-10-26 14:45· 20 天前精选AI 评分87

岩山科技岩芯矩阵联合港科大、CMU 开源 EdgeRock-4B，KV Cache 减少 99.1%

KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

AI 导读

岩山科技旗下岩芯矩阵联合港科大、CMU 等高校发布并开源 EdgeRock-4B，在 256K 上下文下 KV Cache 固定为 72MiB，相比源模型 Qwen3.5-4B 减少 99.1%。

借鉴点

能拿走的是固定容量记忆的三段拆分做法，循环状态抓大意、1024 token 局部窗口管眼前、1024 条锚点库留关键细节，把每条序列 KV 钉死在 72 MiB；落到本地模型部署和长跑 Agent 上可提前算清显存，代价是要从 Qwen3.5-4B 分阶段转换并训练评分网络，不是直接换权重。

来源：量子位 · qbitai.com