跳到正文
科学空间· 苏剑林·· 15 天前AI 评分22

平均之路:从 Attention 到 TTT

平均之路:从Attention到TTT

AI 导读

苏剑林在《将 Softmax Attention 线性化为 Gated DeltaNet》之后,进一步梳理从 Attention 到 TTT 的“平均”思路。文章以该线性化过程为参照,讨论这条演化路径上的方法关联。

来源:科学空间 · kexue.fm