掘金· lucas_AI·· 21 天前AI 评分36
Cerebras 公开 3T 参数 Kimi K3 跑出 2000 tokens/s 的晶圆级推理算术
3T 参数模型怎么跑出 2000 tokens/s？Cerebras 把 59 片晶圆的算术全公开了
AI 导读
Cerebras 发布技术博客，公开用 59 片 WSE-3T 晶圆部署 3T 参数 Kimi K3、实现 1000-2000+ tokens/s 输出的完整算术：4-bit 量化后每层约 16GB 权重可整体放进 44GB 片上 SRAM，权重不动、仅激活值以每跳约 2 微秒在片间流动。社区讨论则集中在故障域、兆瓦级功耗与无法滚动升级等代价上。
来源：掘金 · juejin.cn