MarkTechPost· Asif Razzaq·· 12 天前AI 评分58
Zyphra 提出分层注意力 ZHA，用树状索引器实现亚二次注意力
Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention
AI 导读
Zyphra 发布分层注意力 ZHA，用树状索引器在 KV cache 中逐层搜索相关 key，让索引本身也变成稀疏的。该方法只需在冻结的 Qwen3.6-35B-A3B 上训练 81,920 个参数（约 0.00024%），用 4B token 的 KL 蒸馏即可完成改造，测试上下文到 256K。
来源：MarkTechPost · marktechpost.com