严骏驰团队提出JTok与xHC两种Transformer扩展方法
热点事件历史事件
严骏驰团队提出JTok与xHC两种Transformer扩展方法
1 篇报道1 个报道来源11 天前更新
先了解这件事
AI 综述
上海交通大学严骏驰团队在 CNCC 2026 报告两项 Transformer 架构改进：JTok 为每个 token 配置可学习参数表，通过查表和逐元素运算调制前馈网络更新；xHC 扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。 据该团队报告，在 MoE 实验中，JTok-M 达到同等损失所需训练算力约为底座的 65%，即节省约 35%，但工程实现中推理延迟仍增加约 7%；xHC 达到相同损失相对标准 Transformer 节省约 33% 训练算力，相对 mHC 节省约 16%，完成算子融合等优化后，相比 mHC 吞吐性能额外开销约 1.3%。
AI 根据报道生成 · 11 天前更新
最新进展11月4日 15:48
严骏驰团队在 CNCC 2026 介绍 JTok 与 xHC 两条 Transformer 架构改进思路报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- 雷峰网严骏驰团队在 CNCC 2026 介绍 JTok 与 xHC 两条 Transformer 架构改进思路
上海交通大学严骏驰团队在 CNCC 2026 报告 JTok 与 xHC 两项 Transformer 架构改进：JTok 为每个 token 配置可学习参数表，通过查表和逐元素运算调制前馈网络更新，在 MoE 实验中同算力下损失降低约 2.2%，达到同等损失所需训练算力约为底座的 65%。