掘金· lucas_AI·· 14 天前AI 评分58
MTA-OPSD 让每个 token 自选教师,Qwen3-1.7B 数学推理平均分从 51.1 升至 57.0
自蒸馏也讲究因材施教:让每个 token 自己挑老师,数学推理白捡 5.9 分
AI 导读
慕尼黑工业大学、京都大学和 ELLIS Institute Finland 的论文《Every Token Needs Its Own Teacher》提出 MTA-OPSD,把在线自蒸馏的教师选择从回答级细化到 token 级,Qwen3-1.7B 在 AMC23、AIME24、AIME25 的平均分从 51.1 升到 57.0(+5.9)。
来源:掘金 · juejin.cn