跳到正文
Hacker News · 首页· armcat·· 23 天前精选AI 评分71

BottleCap AI 发布 ThinkingCap-gemma-4-26B-A4B-it,思考 token 平均减少 38.9%

Gemma-4-26B-A4B with 39-69% less thinking at same accuracy

AI 导读

BottleCap AI 发布 ThinkingCap 系列第五个模型 ThinkingCap-gemma-4-26B-A4B-it,在十二项基准上平均减少 38.9% 的思考 token,最高减少 69.1%,准确率平均只降 0.15pp。

借鉴点

能拿走的是同一套采样配置下把思考 token 压掉 38.9% 的微调做法,可换掉本地部署里长思考模型的推理成本,代价是 AA-LCR 掉 4pp、长上下文多模态是主要失分项。

来源:Hacker News · 首页 · bottlecapai.com