The Decoder· Jonathan Kemper·· 28 天前AI 评分58
新基准 Taste-Bench 用决策分叉评测 AI 智能体的长期决策品味
AI agents have bad taste in long-term decisions and a new benchmark proves it
AI 导读
研究者提出 Taste-Bench,用 502 道二选一题测智能体在长期任务中的决策质量,最佳模型 GPT-5.6 Sol 准确率仅 59.7%,接近抛硬币。该基准从 SWE-bench Pro 和 METR 的 MALT 等数千条带评分 agent 轨迹中提取决策分叉,冻结后续步骤让模型选方向;当关键线索只在大量后续工作后才出现时,平均准确率跌至 21%。
来源:The Decoder · the-decoder.com