跳到正文
掘金· 武子康·· 9 天前AI 评分62

h3.c 双权重槽如何用 SSD 流式读取换掉大矩阵常驻内存

h3.c 的两个权重槽,怎样把内存压力换成 SSD 等待

AI 导读

作者以 h3.c 固定提交 8974cc0 的源码为依据,拆解其 SSD streaming 用两个权重槽交替装载 DiT 四类大矩阵的做法,把同时驻留的大矩阵压到两份,代价是重复读取和必须守住的同步边界。

来源:掘金 · juejin.cn