Hacker News · AI 讨论· nupize·· 13 天前精选AI 评分76
如何为 AI 智能体编写 eval：从 LLM eval 的区别到七步落地
AI evals for agents: what they are and how to write them
AI 导读
EvalShift 的 Lukas Babaliauskas 撰文讲解智能体 eval 的写法，指出 LLM eval 只评单条回复，智能体 eval 要评整次运行的工具调用、参数、留下的状态和最终回复，否则智能体没调退款工具却回复已退款也会被判通过。
借鉴点
七步流程可直接照搬，核心是成功标准写成世界状态而非回复文本，代码判分优先、LLM judge 只判文风，代价是每个任务要跑 3 到 5 次并人工标注 30 到 50 条校准 judge。
来源：Hacker News · AI 讨论 · evalshift.dev