Hacker News · AI 讨论· gmays·· 25 天前AI 评分22
AI 基准测试:爬错了山丘
AI Benchmarks: Climbing the Wrong Hills
AI 导读
文章指出 AI 基准测试正陷入 Goodhart 定律困境:当指标成为目标,它就不再是好的衡量标准。以 Arena 为例,Meta 的 Llama 4 Maverick 曾以 1417 Elo 排名第二,但公开版本重测仅列第 32 位,低于 GPT-4o、Claude 3.5 Sonnet 和 Gemini 1.5 Pro。
来源:Hacker News · AI 讨论 · research.contrary.com