跳到正文
Hacker News · AI 讨论· andrebaaij·· 18 天前精选AI 评分71

Benchouse 用分层上下文把 nao 分析智能体准确率从 49.6% 提到 96.5%

Getting an analytics agent from 50% to 96% accuracy

AI 导读

Benchouse 用开源分析智能体 nao 在 90 道题、59 张 marts 表的固定评测集上做实验,把准确率从 Sonnet 5 裸 schema 的 49.6% 提升到 Opus 5.5 加完整上下文的 96.5%,完整度 100%。

借鉴点

能拿走分层加上下文的做法,从裸 schema 到 nao sync、全量文档、write-context-rules 技能、业务定义与回答规则逐层叠加,把分析智能体准确率从 49.6% 推到 96.5%,代价是每问成本从 $0.23 升到 $0.27,且各层改动合并测试无法拆分单项增益。

来源:Hacker News · AI 讨论 · benchouse.ai