掘金· 丘山录·· 16 天前精选AI 评分78
实测本地部署 Qwen3-0.6B：80 线程比 8 线程慢 2.66 倍
本地部署 Qwen3，80 线程反而慢 2.66 倍
AI 导读
作者在 80 逻辑核双路 Xeon 服务器上实测 llama-cpp-python 跑 Qwen3-0.6B-Q8_0，8 线程达到峰值 36.27 tok/s，20 线程掉 24%，80 线程只有 11.04 tok/s，退回单线程水平。
借鉴点
能直接拿走线程扫描表、taskset 绑 NUMA 节点和 numactl --cpunodebind 加 --membind 的组合，落到本地模型部署线；代价是绝对 tok/s 是共享负载下的下限，只能看相对趋势。
来源：掘金 · juejin.cn