掘金· 风骏时光牛马·· 15 天前AI 评分22
大模型综合能力评测框架:性能与对齐维度设计与代码实现
大模型综合能力评测:多维度性能与对齐效果对比
AI 导读
一套覆盖性能与对齐两条主线的大模型综合评测框架被提出,性能含通用推理(MMLU、GSM8K,权重25%)、代码(HumanEval、MBPP,20%)与知识广度(C-Eval、MMLU-Pro,15%),对齐含指令遵循(IFEval,20%)与安全合规(有害请求拒绝率,20%)。评测统一采用温度0.2、最大生成长度1024,并给出可扩展的Python评测脚本与加权汇总方法。
来源:掘金 · juejin.cn