跳到正文
Hacker News · AI 讨论· gmays·· 25 天前AI 评分22

AI 基准测试:爬错了山丘

AI Benchmarks: Climbing the Wrong Hills

AI 导读

文章指出 AI 基准测试正陷入 Goodhart 定律困境:当指标成为目标,它就不再是好的衡量标准。以 Arena 为例,Meta 的 Llama 4 Maverick 曾以 1417 Elo 排名第二,但公开版本重测仅列第 32 位,低于 GPT-4o、Claude 3.5 Sonnet 和 Gemini 1.5 Pro。

来源:Hacker News · AI 讨论 · research.contrary.com