跳到正文
掘金· lucas_AI·· 14 天前AI 评分58

MTA-OPSD 让每个 token 自选教师,Qwen3-1.7B 数学推理平均分从 51.1 升至 57.0

自蒸馏也讲究因材施教:让每个 token 自己挑老师,数学推理白捡 5.9 分

AI 导读

慕尼黑工业大学、京都大学和 ELLIS Institute Finland 的论文《Every Token Needs Its Own Teacher》提出 MTA-OPSD,把在线自蒸馏的教师选择从回答级细化到 token 级,Qwen3-1.7B 在 AMC23、AIME24、AIME25 的平均分从 51.1 升到 57.0(+5.9)。

来源:掘金 · juejin.cn