联想肖利民：用内存池化+近存计算破解KV Cache存储墙

联想集团首席科学家肖利民提出将内存池化与近存计算结合的存算融合池化系统，同时解决KV Cache容量不足和GPU访存开销大两大难题。测试显示，内存池卸载使首Token延迟降低3.5倍，KV跨实例共享最高加速12~28倍，注意力计算下沉后解码延迟降低2.5倍，端到端系统吞吐提升6~20倍。团队下一步计划从G2.5向G1.5演进，借助超节点scale-up互连进一步缩短访问路径。