商汤大装置如何用异构推理集群支撑日均6万亿Token服务

商汤大装置在临港AIDC构建万卡级异构推理集群，以PD分离让国产算力承担Prefill、高阶GPU承担Decode，特定测试配置下整体Token吞吐量提升至原来的5倍。其平台日均Token服务量已达6万亿，预计2026年第四季度达到日均10万亿规模。商汤还在探索跨域PD分离与AF分离，后者有望带来单卡吞吐提升150%至200%。