掘金· 狂潮lister·· 24 天前AI 评分12
狂潮元理论 2.1-public：用注意力叠权与异源对撞解释大模型训练与推理
第6篇 掀翻共识：注意力叠权才是一切，异源对撞破同源自噬｜【狂潮元理论 2.1‑public】
AI 导读
《狂潮元理论 2.1-public》提出用"注意力叠权"解释大模型行为：幻觉、漂移与所谓"自主意识"都是注意力压低其他选项概率、使其边缘化的结果。文章认为自回归闭环导致同源自噬，模型自身输出回流会锁死权重、累积幻觉，打破它只能靠引入外部异源信息做校验闸门。文中还称注意力只是信息通信总线，真正做特征重组的是 FFN，并列举上下文窗口硬上限、缺少内置真假判别器等六项架构病根。
来源：掘金 · juejin.cn