跳到正文
Hacker News · AI 讨论· jtkm6·· 17 天前精选AI 评分71

Apgar 发布 AI 智能体发布健康监控工具,无需 LLM judge 即可发现回归

Show HN: Apgar – Catch agent regressions without an LLM judge

AI 导读

Apgar 发布面向 AI 智能体的发布健康监控工具,在每次发布后的最初几小时对比上一次发布,发现工具报错、重试和循环增多、工具调用减少、回答变短、成本或延迟升高等退化。

借鉴点

能拿它做发布后的回归监控,从已有 trace 里比对工具报错、重试、循环、调用量、回答长度、成本和延迟,不用 LLM judge 也不用数据集;前提是接入 OpenTelemetry 或 Langfuse 并给每次部署打 release 标签,还要自托管 Docker Compose 或 Kubernetes。

来源:Hacker News · AI 讨论 · github.com