Hacker News · AI 讨论· dvaplima·· 11 天前AI 评分34
Vetto ScienceBench 发布:50 项数据分析任务评测前沿 AI 模型科学能力
Vetto ScienceBench: Expanding Scientific Capabilities of Frontier AI Models
AI 导读
Vetto 推出 Vetto ScienceBench,包含 14 个学科共 50 项数据分析任务,采用 Terminal-Bench Science 格式,每题三次试验并通过轨迹与泄漏审计。测试 13 个前沿模型,最佳模型仅通过 49% 的试验,多数模型失败率超 80%,有 5 项任务无任何模型解出。仅 GPT-6.1 Sol 在 MRI 脂肪定量任务中三次尝试成功一次。
来源:Hacker News · AI 讨论 · vetto.ai