跳到正文
科学空间· 苏剑林·· 27 天前AI 评分22

连续化 Softmax Attention:论文《Continuum Attention》将注意力连续化

连续化 Softmax Attention

AI 导读

论文《Continuum Attention》提出将 Softmax Attention 连续化的思路,把原本定义在有限向量集合上的加权混合算子推广到连续情形。文章围绕这一想法展开介绍与讨论。

来源:科学空间 · kexue.fm