掘金· 丘山录·2026-11-06 11:00· 9 天前精选AI 评分78

无显卡本地跑 PLaMo 3 Translate 0.8B：llama.cpp 完整实测教程

本地部署 PLaMo，llama.cpp 完整教程，不用显卡

AI 导读

作者在 2016 年 4 核 Celeron J3455 无显卡小主机上，用 llama.cpp 跑通 PFN 的 PLaMo 3 Translate 0.8B（Q4_K_M，573,116,288 字节），4 线程 decode 达 7.59 tok/s。

借鉴点

能拿走 llama-bench 逐档扫线程加 grep ggml-cpu 查后端降级的做法，落到本地模型部署线；代价是双路机器要先 taskset 绑单 NUMA，否则测出的数每次都不一样。

来源：掘金 · juejin.cn