跳到正文
掘金· lucas_AI·· 18 天前AI 评分58

Meta 用 574 次真实评测运行对比四种省题方案,最终部署难度分层固定子集

每次迭代都全量跑基准?Meta 用 574 次真实运行告诉你:200 道题就够准

AI 导读

Meta 研究者用生产分析 agent 的 574 次历史全量评测运行做回放对比,发现多维 2PL 自适应测试只跑 38.5% 的题就能把全量分数误差控制在 1.03 个百分点,但最终部署的是更朴素的难度分层固定子集。

来源:掘金 · juejin.cn