Vetto发布科学数据分析基准ScienceBench
热点事件历史事件
Vetto发布科学数据分析基准ScienceBench
1 篇报道1 个报道来源10 天前更新
先了解这件事
AI 综述
Vetto 发布科学数据分析基准 Vetto ScienceBench，包含 14 个学科共 50 项数据分析任务，采用 Terminal-Bench Science 格式，每题进行三次试验，并做轨迹与泄漏审计。 Vetto 测试 13 个前沿模型，最佳模型仅通过 49% 的试验，多数模型失败率超过 80%，有 5 项任务没有任何模型解出。Vetto 称，仅 GPT-6.1 Sol 在 MRI 脂肪定量任务中三次尝试成功一次。
AI 根据报道生成 · 10 天前更新
最新进展11月6日 01:15
Vetto ScienceBench 发布：50 项数据分析任务评测前沿 AI 模型科学能力报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- Hacker News · AI 讨论Vetto ScienceBench 发布：50 项数据分析任务评测前沿 AI 模型科学能力
Vetto 推出 Vetto ScienceBench，包含 14 个学科共 50 项数据分析任务，采用 Terminal-Bench Science 格式，每题三次试验并通过轨迹与泄漏审计。测试 13 个前沿模型，最佳模型仅通过 49% 的试验，多数模型失败率超 80%，有 5 项任务无任何模型解出。仅 GPT-6.1 Sol 在 MRI 脂肪定量任务中三次尝试成功一次。