掘金· 八月蝉·· 12 天前精选AI 评分75
推理 INFRA 方法论：从集合原语到跨机拓扑的通信模型
推理 INFRA 方法论（1）：通信模型：从集合原语到跨机拓扑
AI 导读
作者在「推理 INFRA 方法论」系列第 2 篇中把集合通信拆成步数、启动时延 α 和每卡字节数，给出 T=步数×α+每卡字节/busBW 的时延模型，并结合 H20 8 卡 4 NIC 的 NUMA 与 PCIe 拓扑解释实测差异。
借鉴点
能拿走集合通信的时延模型 T=步数×α+每卡字节/busBW 和分层 AllReduce 做法，用于排查跨机推理通信瓶颈；前提是拿到目标机器的 GPU-NIC 亲和矩阵和实测 α、busBW，模型值只能定位问题。
来源：掘金 · juejin.cn