掘金· lucas_AI·· 12 天前AI 评分60
arXiv 论文实测 866 个代码任务:多想 2000 个 token 只涨 1.4 个点
多想 2000 个 token 只涨 1.4 个点:LLM 写代码的「思考开销」终于有人算账了
AI 导读
arXiv 论文 Does More Thinking Pay Off? 在 HumanEval Pro、MBPP Pro、BugsInPy 共 866 个 Python 任务上对 5 个模型配置各跑 5 次,用同权重开关推理的方式对比正确率与思考 token 数。
来源:掘金 · juejin.cn