掘金· 海螺_AIHCC·· 9 天前精选AI 评分78
开源模型扎堆发布后如何算显存：权重、KV 缓存与卡数的 Python 估算方法
开源模型挤着发了一圈，先别比榜单，算算显存
AI 导读
作者用 Python 函数估算 Kimi K3.1 Pro、文心 5.5 Flash Base、Axion 1.0 等开源模型的部署成本，结论是权重之外 KV 缓存才是决定能否跑起来的关键。
借鉴点
能直接拿走权重、KV 缓存、卡数三段的 Python 函数和 15% 余量参数，把选型从比榜单换成算显存；前提是拿到模型的层数、kv 头数和 head_dim，kv_heads 写成总头数会算大八倍。
来源：掘金 · juejin.cn