掘金· 用户08077590785·· 16 天前精选AI 评分78
第三方并行库 ring attention 静默算错，作者记录从单卡对照到定位未通信的排查过程
第三方并行库"静默算错"：一次 ring attention 的排查记录
AI 导读
作者把 20B 级扩散模型推理框架从 CUDA 移植到另一种加速卡时，接入的开源 ring attention 实现端到端出图不对但不报错，排查后确认该库的注意力实现根本没做通信，只算了本地那一段。
借鉴点
能拿走三件东西，单层并行与朴素实现逐元素对比、并行输出与只用本地数据比 max_err 是否为 0 判通信、单机分块 LSE 合并单测；可落到本地模型部署与推理移植线，前提是得先有可对照的朴素实现和能跑多进程的环境。
来源：掘金 · juejin.cn