掘金· moshuying·· 22 天前精选AI 评分78
拆解 DeepGEMM 与 FlashMLA：矩阵乘、注意力与 GPU 上的推理优化
DeppInfer系列之 - 矩阵、注意力与 GPU：拆解 DeepGEMM 与 FlashMLA
AI 导读
这篇文章从矩阵乘的三重循环讲起，用算术强度解释 DeepGEMM 和 FlashMLA 为何分别卡在带宽与算力上。
借鉴点
能拿走算术强度判瓶颈、TMA加WGMMA的warp分工、FP8两级累加和MLA吸收推导，落到本地模型部署与推理优化这条线，前提是手上有Hopper卡并愿意对着固定commit读源码。
来源：掘金 · juejin.cn