跳到正文
Hacker News · AI 讨论· rbnafo·· 19 天前AI 评分62

如何自建 LLM 基准测试并搭建自己的评测 harness

Write your own LLM Benchmarks

AI 导读

作者主张团队应像拥有单元测试一样拥有自己的 LLM 基准,并给出搭建 harness 的具体做法。核心是把 harness 代码与测试内容分离,测试按 test family 和 case 分文件夹存放,每个 case 配 meta.json 记录难度、标签和人工复现步骤,并嵌入 canary GUID 防止数据进入训练。

来源:Hacker News · AI 讨论 · anaivebidder.com