掘金· 用户36005557900·· 18 天前AI 评分34
Kestrel_VLLM 第 22 篇:MoE FFN 位级镜像收口,整模型逐层 L2 全等达成
Kestrel_VLLM - 22 · MoE FFN 位级镜像收口:整模型逐层 L2 全等达成
AI 导读
Kestrel_VLLM 在 Qwen3-30B-A3B q4local + RTX 5090 上把 MoE FFN 的六处浮点归约序差异对齐,2120 个 L2 key 不一致数从 2054 降到 0,整模型逐层 hidden 与完整 logits 逐字节等于纯 CPU 参考。
来源:掘金 · juejin.cn