Hacker News · AI 讨论· rbnafo·· 19 天前AI 评分62
如何自建 LLM 基准测试并搭建自己的评测 harness
Write your own LLM Benchmarks
AI 导读
作者主张团队应像拥有单元测试一样拥有自己的 LLM 基准,并给出搭建 harness 的具体做法。核心是把 harness 代码与测试内容分离,测试按 test family 和 case 分文件夹存放,每个 case 配 meta.json 记录难度、标签和人工复现步骤,并嵌入 canary GUID 防止数据进入训练。
来源:Hacker News · AI 讨论 · anaivebidder.com