Hacker News · AI 讨论· fritzschopen·· 11 天前精选AI 评分75
Cleric 用多智能体架构把 agent 评测成本降低 100 倍
How we made evals 100× cheaper with multi-agent architecture
AI 导读
Cleric 把原来基于 Claude Agent SDK 的单个调查 agent 拆成约 40 个按角色分工的松耦合 agent，由中心 investigator 编排，使单次评测成本从 0.54 美元降到 0.0052 美元、耗时从 137 秒降到 27 秒。
借鉴点
把单体调查 agent 拆成约 40 个按角色分工的松耦合 agent，每个角色独立选模型和 harness，eval 从端到端全流程改成单角色聚焦测试，单次成本从 0.54 美元降到 0.0052 美元；代价是编排、追踪、成本统计都要重做，agent 之间靠自然语言对话缺少契约约束。
来源：Hacker News · AI 讨论 · cleric.ai