Hugging Face Blog·· 25 天前精选AI 评分71
Dharma AI 用 VocabX 为 SLM 定制词表，实测推理成本降 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma AI 在 Hugging Face 博客披露 VocabX 方法，在不改基础模型、数据和训练配方的前提下，把 Qwen3-4B 葡语作文评分器的实测推理成本降低 77.0%，平均响应从 350 token 降到 101 token。
借鉴点
能拿走按 token 成本而非频次重建词表的方法，子词合并加宏 token 两层同预算筛选，落到本地小模型部署可省 77% 推理成本；代价是需重训分词器并重跑训练，且压缩掉关键决策 token 会掉点。
来源：Hugging Face Blog · huggingface.co