掘金· moshuying·· 18 天前精选AI 评分71
拆解 Clover-35B-A3B-Preview：块扩散加 GDN 改造如何把并行生成塞进 Agent 长上下文
块扩散 + GDN 改造：Clover 把「并行生成」塞进了 Agent 的长上下文里
AI 导读
作者拆解了 10 月 28 日发布、权重已上 Hugging Face 的 Clover-35B-A3B-Preview，说明它用 block_size=32、threshold=0.95 的块扩散解码让一次前向落定多个 token，并把 GDN 改成历史进常数状态、块内双向注意力、记忆读出单独成一路。
借鉴点
能拿走块扩散解码的伪代码和 block_size=32、threshold=0.95 两个默认值，以及历史走常数状态、块内双向、读出单独成一路的三段式改法，落到本地模型部署和 Agent 长上下文这条线；代价是接受即不可撤销，块后部位置易写错 JSON 参数，且文中吞吐数字多为作者测算。
来源：掘金 · juejin.cn