热点事件历史事件

无显卡CPU实测跑通PLaMo翻译模型

1 篇报道1 个报道来源9 天前更新

先了解这件事

AI 综述

作者丘山录在一台 2016 年的 4 核 Celeron J3455 无显卡小主机上，用 llama.cpp 跑通 PFN 的 PLaMo 3 Translate 0.8B 翻译模型（Q4_K_M 量化，573,116,288 字节），4 线程 decode 速度达 7.59 tok/s，并发布完整实测教程。教程给出的操作条件包括：线程数 -t 须从 1 开始逐档增加；测翻译时须关闭采样，否则同一输入每次结果不同、无法判断好坏；双路机器上跑纯 CPU 推理应先用 taskset 或 numactl 把进程固定在一个节点。上述速度与可用性均为作者在特定硬件和量化版本下的实测结果，并非所有设备或配置的通用表现。

AI 根据报道生成 · 9 天前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月6日

11:00
掘金精选
无显卡本地跑 PLaMo 3 Translate 0.8B：llama.cpp 完整实测教程
作者在 2016 年 4 核 Celeron J3455 无显卡小主机上，用 llama.cpp 跑通 PFN 的 PLaMo 3 Translate 0.8B（Q4_K_M，573,116,288 字节），4 线程 decode 达 7.59 tok/s。