MarkTechPost· Asif Razzaq·· 21 天前精选AI 评分71
斯坦福与 UC Berkeley 发布 TokenGate，长上下文 prefill 最高提速 11.3x
Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
AI 导读
斯坦福和 UC Berkeley 研究者发布 TokenGate，一个给预训练 LLM 加可学习 token 剪枝的模块，长上下文 prefill 的 TTFT 提速 1.4x 至 11.3x，峰值显存降低 1.5x 至 3.4x，且无精度损失。
借鉴点
可复用其 MLP 门控加 LoRA r=16 的 token 剪枝做法，把长文档 prefill 的 TTFT 压到 1.4x 至 11.3x，代价是需训练门控、每步比纯 LoRA 慢 1.3x，且只剪文档不剪问题。
来源：MarkTechPost · marktechpost.com