掘金· 冬奇Lab·· 21 天前精选AI 评分71
冬奇Lab 复盘 Skill 评测：推翻现成模型选型结论并自建评测平台
一次 Skill 评测的复盘：我推翻了一份现成的模型选型结论，然后自己造了个评测平台
AI 导读
冬奇Lab 复盘了一次 Jira Skill 模型选型评测，指出原报告单 case 采样、AI 自判对错、任务与真实使用不一致等问题，重测后推翻了原结论。
借鉴点
可拿走脚本逐字判分、100 case×3 采样、按错误模式分严重程度这三条做法，替换掉单 case 加 AI 当裁判的评测流程；代价是要先备好 ground truth 和判分脚本。
来源：掘金 · juejin.cn