掘金· 八月蝉·· 12 天前精选AI 评分78
推理 INFRA 方法论开篇：用 Roofline 算力与带宽建立性能预算
推理 INFRA 方法论（0）：Roofline：用算力与带宽建立性能预算
AI 导读
八月蝉在「推理 INFRA 方法论」系列第 1 篇里，用 Roofline 模型把 GPU 计算拆成算力 F 与带宽 BW 两条上限，给出 T ≥ max(W/F, Q/BW) 的时延预算和 I 与转折点 R 的判瓶颈流程。
借鉴点
能拿走一套 Roofline 判瓶颈流程和 H20 实测数字，用来给 decode 权重 GEMM 定 batch 饱和点、给 attention 判该不该融合；前提是接受 Q 按实际 HBM 往返算、带宽只打八五折，小形状上固定开销会盖过理论值。
来源：掘金 · juejin.cn